Kafka集群搭建

本文测试环境：

• 操作系统： CentOS release 6.8
• Java 版本： 1.7.0_71
• kafka版本： kafka_2.11-0.10.1.0.tgz

1. 单机模式

1.1 解压缩包

> tar -xzf kafka_2.11-0.10.1.0.tgz
> cd kafka_2.11-0.10.1.0

1.2 启动ZooKeeper服务

       Kafka使用ZooKeeper因此首先需要启动一个ZooKeeper服务。如果你没有ZooKeeper，你可以方便的使用打包到kafka中的应急单点ZooKeeper实例：

> bin/zookeeper-server-start.sh config/zookeeper.properties

1.3 启动Kafka服务

       现在就可以启动kafka服务了：

> bin/kafka-server-start.sh config/server.properties

1.4 创建一个Topic

       接下来创建一个名为“test”只有一个分片和复制的topic：

> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

       可以使用如下的命令查看所有topic：

> bin/kafka-topics.sh --list --zookeeper localhost:2181
  test

1.5 发送消息

       Kafka自带了个客户端命令行程序，它从文件或者标准输入获取消息，并且将它作为消息发送到Kafka集群。默认情况下，每一行作为一个独立的消息进行发送。

运行producer并发送消息到服务中：

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message

1.6 创建一个Consumer

       Kafka也有一个Consumer的命令行程序，它能够将Producer生产的消息导出来：

> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
This is a message
This is another message

至此，一个单节点的kafka集群搭建完毕。

---

对机器学习，人工智能感兴趣的小伙伴，请关注我的公众号：