- 博客(5)
- 收藏
- 关注
RSS订阅原创 Flume与Kafka集成（对接）
1）配置flume(flume-kafka.conf) 在/opt/setup/flume-1.8/（Flume的安装目录）下创建jobs文件夹，创建conf文件vim flume-kafka.conf，添加内容： #define a1.sources = r1 a1.sinks = k1 a1.channels = c1 #source a1.sources.r1.type = exec a1...
2020-01-20 21:40:34
735
原创 Kafka集群部署以及常用命令
kafka集群部署 1、下载安装包 http://kafka.apache.org/downloads 或者在linux中使用wget命令下载安装包 wget http://mirrors.hust.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz 2、解压安装包 tar -zxvf/export/software/kafka_2.11-1.1.0.t...
2020-01-20 21:24:53
300
原创 Kafka消息数据积压问题
（1）如果是Kafka消费能力不足，则可以考虑增加 topic 的 partition 的个数，同时提升消费者组的消费者数量，消费数 = 分区数 （二者缺一不可） （2）若是下游数据处理不及时，则提高每批次拉取的数量。批次拉取数量过少（拉取数据/处理时间 < 生产速度），使处理的数据小于生产的数据，也会造成数据积压。 ...
2020-01-20 21:12:24
5502
原创 Kafka Producer的Ack机制
Kafka Producer的Ack机制 Kafka的Ack机制指producer的消息发送确认机制，其影响kafka集群的吞吐量和消息可靠性。 Ack=0，相当于异步发送，意味着producer不等待broker同步完成，消息发送完毕继续发送下一批信息。提供了最低延迟，但持久性最弱，当服务器发生故障时很可能发生数据丢失。如果leader死亡，producer继续发送消息，broker接收不到数据...
2020-01-20 20:21:51
2667
原创 序列化
Spark对接Hbase存入数据的序列化问题java.io.NotSerializableException: org.apache.hadoop.hbase.io.ImmutableBytesWritable 原因： ImmutableBytesWritable不能进行序列化（在Java中，如果类需要序列化需要实现Serializable） 而文件在经过网络传输时需要序列化（网络传输是二进制传输...
2019-12-11 22:22:36
140
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人