- 博客(4)
- 收藏
- 关注
RSS订阅原创 KafKa 基本概念
1、Kafka作用 消息系统 具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等特点 存储系统 Kafka可以将消息持久化到磁盘 流式处理平台 2、基本概念 1）Producer：生产者，也就是发送消息的一方。 2）Consumer：消费者，也就是接受消息的一方 3）Broker：Kafka服务节点 4）Topic：消息以主题为单位进行归类，生产者负责将消息发送到特定的主题，而消息者负责订阅主题并进行消费。主题是一个逻...
2020-06-17 14:11:27
214
原创 运行SparkStreaming 示例代码报错：Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream
1、问题描述： 运行官网文档中Spark Streaming 读取socket流 实例代码报错： 环境为kafka 0.9 + Spark 2.4 Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V at org.apache.spark.io.LZ4CompressionCodec.compressedInputStrea
2020-06-14 13:47:34
543
原创 Kafka 报错FailedToSendMessageException: Failed to send messages after 3 tries.
Kafka 0.9测试生产者API遇到如下错误： Exception in thread "main" kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries. at kafka.producer.async.DefaultEventHandler.handle(DefaultEventHandler.scala:90) at kafka.producer.Producer.send(Produce
2020-06-11 18:33:22
396
原创 Flume -将A服务器上的日志采集到B服务器上
1、目的：将A服务器上的日志实时采集到B服务器 2、选型： exec source + memory channel +avro sink avrosource +memory channel +logger sink 3、配置文件 2个 # exec-memory-avro.conf b1.sources = r1 b1.sinks = k1 b1.channels = c1 # Describe/configure the source ...
2020-06-08 21:37:11
186
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人