kafka部署及笔记

1.安装KAFKA
解压：
#tar zxvf kafka_2.11-1.0.1.tgz
#mv kafka_2.11-1.0.1 kafka
配置：
#vi kafka/config/server.properties

注意：Zookeeper.connect只能配置为IP
集群：
同理完成其它服务器的以上配置过程。
启动：
启动三台主机上的 kafka 服务
#bin/kafka-server-start.sh -daemon config/server.properties
创建topic：
#bin/kafka-topics.sh --create --zookeeper master:2181,worker9:2181,worker10:2181 --replication-factor 2 --partitions 2 --topic Topic1
查询topic状态：
bin/kafka-topics.sh --describe --zookeeper master:2181,worker9:2181,worker10:2181 --topic Topic1

1、kafka内存溢出，可调整启动参数。
export KAFKA_HEAP_OPTS="-Xmx12G -Xms8G -Xmn4G -XX:PermSize=128m -XX:MaxPermSize=256m -XX:SurvivorRatio=6 -XX:CMSInitiatingOccupancyFraction=70 -XX:+UseCMSInitiatingOccupancyOnly"
4、Kafka Suffle read/write效率慢，可以调整：
num.network.threads：Broker处理消息的最大线程数
num.io.threads：Broker处理磁盘IO

查看卡夫卡临时预警：
/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server master:9092,worker9:9092,worker10:9092 --topic LTE-SOURCE

查看topic信息
/opt/kafka/bin/kafka-topics.sh --zookeeper rtm02:2181 --topic KPI-SAVE --describe

增加topic分区数
/opt/kafka/bin/kafka-topics.sh --alter --zookeeper master:2181,worker9:2181,worker10:2181 --topic LTE-SOURCE --partitions 12

发送消息：
/opt/kafka/bin/kafka-console-producer.sh --broker-list master:9092,worker9:9092,worker10:9092 --topic KPI-SAVE-zxb

查看偏移量：
/opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server rtm02:9092,rtm04:9092,rtm05:9092,rtm06:9092 --list
查看group消息消费情况:
/opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server rtm02:9092 --group kpi --describe

卡夫卡删除topic数据：/opt/kafka/bin/kafka-topics.sh --delete --zookeeper rtm06:2181,rtm05:2181,rtm04:2181,rtm02:2181 --topic LTE-ALERT