Kafka集群部署以及常用命令

kafka集群部署

1、下载安装包

http://kafka.apache.org/downloads

或者在linux中使用wget命令下载安装包

wget http://mirrors.hust.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz

2、解压安装包

tar -zxvf/export/software/kafka_2.11-1.1.0.tgz -C /export/servers/

3、修改配置文件

进入配置文件目录

cd /export/servers/kafka/config

需要配置的文件有3个

producer.properties
server.properties
consumer.properties

4、分发安装包

scp -r/export/servers/kafka_2.11-1.1.0 kafka02:/export/servers

然后分别在各机器上创建软链接

cd /export/servers/
ln -s kafka_2.11-1.1.0 kafka

5、再次修改各节点配置文件

依次修改每个节点的server.properties中的broker.id和host.name

6、启动集群

依次在每个节点启动

nohup bin/kafka-server-start.sh config/server.properties &

kafka的常用操作命令

查看当前服务器中的所有topic

bin/kafka-topics.sh --list --zookeeper hd001:2181

创建topic

bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 3 --partitions 3 --topic test

删除topic

bin/kafka-topics.sh --delete --zookeeper node1:2181 --topic test

需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
通过shell命令发送消息

bin/kafka-console-producer.sh --broker-list node1:9092 --topic test

通过shell消费消息

bin/kafka-console-consumer.sh --zookeeper node1:2181 --from-beginning --topic test
#1.1.0版本：
./bin/kafka-console-consumer.sh --topic test --bootstrap-server node1:9092

查看消费位置

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper node1:2181 --group testGroup

查看某个Topic的详情

bin/kafka-topics.sh --topic test --describe --zookeeper node1:2181

对分区数进行修改

bin/kafka-topics.sh --zookeeper  node1 --alter --partitions 3 --topic test