weixin_45079319的博客

1）配置flume(flume-kafka.conf)在/opt/setup/flume-1.8/（Flume的安装目录）下创建jobs文件夹，创建conf文件vim flume-kafka.conf，添加内容：#definea1.sources = r1a1.sinks = k1a1.channels = c1#sourcea1.sources.r1.type = execa1...

kafka集群部署1、下载安装包http://kafka.apache.org/downloads或者在linux中使用wget命令下载安装包wget http://mirrors.hust.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz2、解压安装包tar -zxvf/export/software/kafka_2.11-1.1.0.t...

（1）如果是Kafka消费能力不足，则可以考虑增加 topic 的 partition 的个数，同时提升消费者组的消费者数量，消费数 = 分区数 （二者缺一不可）（2）若是下游数据处理不及时，则提高每批次拉取的数量。批次拉取数量过少（拉取数据/处理时间 < 生产速度），使处理的数据小于生产的数据，也会造成数据积压。...

Kafka Producer的Ack机制Kafka的Ack机制指producer的消息发送确认机制，其影响kafka集群的吞吐量和消息可靠性。Ack=0，相当于异步发送，意味着producer不等待broker同步完成，消息发送完毕继续发送下一批信息。提供了最低延迟，但持久性最弱，当服务器发生故障时很可能发生数据丢失。如果leader死亡，producer继续发送消息，broker接收不到数据...

Spark对接Hbase存入数据的序列化问题java.io.NotSerializableException: org.apache.hadoop.hbase.io.ImmutableBytesWritable原因： ImmutableBytesWritable不能进行序列化（在Java中，如果类需要序列化需要实现Serializable）而文件在经过网络传输时需要序列化（网络传输是二进制传输...