- 博客(4)
- 收藏
- 关注
原创 KafKa 基本概念
1、Kafka作用消息系统 具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等特点 存储系统 Kafka可以将消息持久化到磁盘 流式处理平台2、基本概念 1)Producer:生产者,也就是发送消息的一方。 2)Consumer:消费者,也就是接受消息的一方 3)Broker:Kafka服务节点 4)Topic:消息以主题为单位进行归类,生产者负责将消息发送到特定的主题,而消息者负责订阅主题并进行消费。主题是一个逻...
2020-06-17 14:11:27
246
原创 运行SparkStreaming 示例代码报错:Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream
1、问题描述:运行官网文档中Spark Streaming 读取socket流 实例代码报错:环境为kafka 0.9 + Spark 2.4Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V at org.apache.spark.io.LZ4CompressionCodec.compressedInputStrea
2020-06-14 13:47:34
559
原创 Kafka 报错FailedToSendMessageException: Failed to send messages after 3 tries.
Kafka 0.9测试生产者API遇到如下错误:Exception in thread "main" kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.at kafka.producer.async.DefaultEventHandler.handle(DefaultEventHandler.scala:90)at kafka.producer.Producer.send(Produce
2020-06-11 18:33:22
414
原创 Flume -将A服务器上的日志采集到B服务器上
1、目的:将A服务器上的日志实时采集到B服务器2、选型: exec source + memory channel +avro sink avrosource +memory channel +logger sink3、配置文件 2个# exec-memory-avro.confb1.sources = r1b1.sinks = k1b1.channels = c1# Describe/configure the source...
2020-06-08 21:37:11
215
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人