kafka安装及常用命令

一 kafka安装启动

1.下载最新版kafka 
    Apache官网: http://kafka.apache.org/downloads.html
2.解压kafka
    tar -zxvf kafka_2.12-1.0.0.tgz
3.重命名解压目录名  
    mv kafka_2.12-1.0.0 kafka
4.启动
    进入解压目录：cd kafka
    修改config/zookeeper.properties的日志路径
    启动zookeeper：bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
    修改config/server.properties的日志路径
    启动kafka：bin/kafka-server-start.sh -daemon config/server.properties5.停止
    停止kafka： bin/kafka-server-stop.sh
    停止zookeeper： bin/zookeeper-server-stop.sh
二 kafka的相关命令

老版本命令：

// 创建topic （replication-factor：节点数）
sh ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic myTopic1
// 查看队列分区明细
sh ./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic myTopic1
// 消费消息 
sh ./bin/kafka-console-consumer.sh  --zookeeper localhost:2181  --from-beginning --topic loginfoTopic
// 查看队列列表
sh ./bin/kafka-topics.sh --list --zookeeper localhost:2181
// 删除toppic
sh ./bin/kafka-topics.sh  --delete --zookeeper localhost:2181  --topic test
// 修改分区数，注意只能往大的改
sh ./bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic myTopic1 --partitions 4
//测试：启动producer发送消息
sh ./bin/kafka-console-producer.sh --zookeeper localhost:2181 --topic myTopic1
//测试：启动consumer消费消息
sh ./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic myTopic1 --from-beginning

新版本命令：

// 查看topic列表
sh ./bin/kafka-topics.sh --bootstrap-server localhost:9092 --list
// 创建topic （replication-factor：节点数）
sh ./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 3 --topic upg_task_status_topic
// 查看队列分区明细
sh ./bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic upg_task_status_topic
// 修改分区数，注意只能往大的改
sh ./bin/kafka-topics.sh --bootstrap-server localhost:9092 --alter --topic upg_task_status_topic --partitions 4
// 删除toppic
sh ./bin/kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic upg_task_status_topic
//测试：启动producer发送消息
sh ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic upg_task_status_topic
//测试：启动consumer消费消息 
sh ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic upg_task_status_topic
//查询topic消费情况
sh ./bin/kafka-consumer-groups.sh --bootstrap-server localhost:9093 --describe --topic upg_task_status_topic
# 查看消费者组
sh ./bin/kafka-consumer-groups.sh --bootstrap-server localhost:9093 --list
# 查看消费者组的消费情况
./bin/kafka-consumer-groups.sh --bootstrap-server localhost:9093 --describe --group = myGroup