安装文件:kafka_2.11-0.8.2.2.tgz
1、安装:
将压缩包解压到/opt下,将解压后的文件夹重命名为kafka,方便管理。
2、修改配置文件config/server.properties
修改以下参数:
- broker.id=133【133是自己命名的,只要节点之间不重复就行】
- host.name=192.168.244.133【一般是ip地址,也可以使用ip的映射名称】
- log.dirs=/opt/kafka/logs 【日志存放地址,一般放在安装文件夹下面】
- zookeeper.connect=192.168.244.131:2181, 192.168.244.133:2181,
192.168.244.134:2181【这是zooKeeper集群的ip和端口】 - delete.topic.enable=true【这是允许删除主题】
- 以上所有步骤配置好后,使用远程复制命令scp -r /opt/kafka ip:/opt将kafka安装包发送至其他节点。复制到其他节点后,要记得修改/opt/kafka/config/server.properties中的broker.id和host.name的值修改为其所在节点的对应内容。
3、操作命令
注:以下所有命令都是在/opt/kafka文件夹下执行!!!
后台启动:
-启动之前需要做以下两件事:
1、确认zookeeper已经启动;
2、确认防火墙已经关闭。nohup bin/kafka-server-start.sh config/server.properties 2>&1 &
创建主题【主题是保存在zooKeeper集群内,2181是zooKeeper的端口号】
bin/kafka-topics.sh –create –zookeeper
192.168.244.131:2181,192.168.244.133:2181,192.168.244.134:2181 –replication-factor 1 –partitions 1 –topic test描述主题
bin/kafka-topics.sh –describe –zookeeper 192.168.244.131:2181,192.168.244.133:2181,192.168.244.134:2181 –topic test
删除主题
bin/kafka-topics.sh –delete –zookeeper 192.168.244.131:2181,192.168.244.133:2181,192.168.244.134:2181 –topic test
生产者
bin/kafka-console-producer.sh –broker-list 192.168.244.131:9092,192.168.244.133:9092,192.168.244.134:9092 –topic test
消费者
bin/kafka-console-consumer.sh –zookeeper 192.168.244.131:2181,192.168.244.133:2181,192.168.244.134:2181 –topic test –from-beginning
查看消费进度
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker –zookeeper 192.168.244.131:2181 –topic test -group group1