linux6.5下安装kafka集群

安装文件：kafka_2.11-0.8.2.2.tgz

1、安装：

    将压缩包解压到/opt下，将解压后的文件夹重命名为kafka，方便管理。

2、修改配置文件config/server.properties

修改以下参数：

• broker.id=133【133是自己命名的，只要节点之间不重复就行】
• host.name=192.168.244.133【一般是ip地址，也可以使用ip的映射名称】
• log.dirs=/opt/kafka/logs 【日志存放地址，一般放在安装文件夹下面】
• zookeeper.connect=192.168.244.131:2181, 192.168.244.133:2181,
  192.168.244.134:2181【这是zooKeeper集群的ip和端口】
• delete.topic.enable=true【这是允许删除主题】
• 以上所有步骤配置好后，使用远程复制命令scp -r /opt/kafka ip:/opt将kafka安装包发送至其他节点。复制到其他节点后，要记得修改/opt/kafka/config/server.properties中的broker.id和host.name的值修改为其所在节点的对应内容。

3、操作命令

注：以下所有命令都是在/opt/kafka文件夹下执行！！！

• 后台启动：
  -启动之前需要做以下两件事：
  1、确认zookeeper已经启动；
  2、确认防火墙已经关闭。

  nohup bin/kafka-server-start.sh config/server.properties 2>&1 &

• 创建主题【主题是保存在zooKeeper集群内，2181是zooKeeper的端口号】

  bin/kafka-topics.sh –create –zookeeper
  192.168.244.131:2181,192.168.244.133:2181,192.168.244.134:2181 –replication-factor 1 –partitions 1 –topic test

• 描述主题

  bin/kafka-topics.sh –describe –zookeeper 192.168.244.131:2181,192.168.244.133:2181,192.168.244.134:2181 –topic test

• 删除主题

  bin/kafka-topics.sh –delete –zookeeper 192.168.244.131:2181,192.168.244.133:2181,192.168.244.134:2181 –topic test

• 生产者

  bin/kafka-console-producer.sh –broker-list 192.168.244.131:9092,192.168.244.133:9092,192.168.244.134:9092 –topic test

• 消费者

  bin/kafka-console-consumer.sh –zookeeper 192.168.244.131:2181,192.168.244.133:2181,192.168.244.134:2181 –topic test –from-beginning

• 查看消费进度

  bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker –zookeeper 192.168.244.131:2181 –topic test -group group1