Kafka分布式集群搭建

在 zookeeper分布式搭建完成的基础上，开始kafka集群搭建

1.下载准备安装包

kafka：http://kafka.apache.org/downloads
下载 kafka_2.12-2.0.0.tgz

2.更改配置文件

先对一个节点上的进行修改，打开config/server.properties
每个版本的配置文件多少会有所调整，所以，我们就只关注需要部署的版本去查看它所需配置的要求。

主要是以下几个：

broker.id  broker的id，此id必须是和其他broker不一样，保证唯一
listeners 套接字服务器监听的地址。如果没有配置，就使用java.net.InetAddress.getCanonicalHostName()的返回值
advertised.listeners 节点的主机名会通知给生产者和消费者。如果没有设置，如果配置了"listeners"就使用"listeners"的值
num.network.threads 接受网络请求的线程数
num.io.threads 进行磁盘IO的线程数
socket.send.buffer.bytes 套接字服务器使用的发送缓冲区大小
socket.receive.buffer.bytes 套接字服务器使用的接收缓冲区大小
socket.request.max.bytes 单个请求最大能接收的数据量

log.dirs 一个逗号分隔的目录列表，用来存储日志文件
num.partitions 每个主题的日志分区的默认数量。更多的分区允许更大的并行操作，但是它会导致节点产生更多的文件
num.recovery.threads.per.data.dir 每个数据目录中的线程数，用于在启动时日志恢复，并在关闭时刷新

zookeeper.connect Zookeeper连接字符串,逗号分隔

鉴于此，对每个节点，只要改broker.id就可以了，主要改以下几个：

broker.id=0
log.dirs=/data/log/kafka
zookeeper.connect=172.16.30.100:2181,172.16.30.101:2181,172.16.30.102:2181

3.启动kafka

在zookeeper启动的基础上，启动kafka。
先确定下zookeeper是否已经启动

[root@master zookeeper]# ./bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper/bin/../conf/zoo.cfg
Mode: follower

每一台都看一下

接着，启动kafka
每一台都执行./bin/kafka-server-start.sh -daemon ./config/server.properties
然后可以查看下java进程jps

8466 QuorumPeerMain
10154 Jps
8942 Kafka

4.进行基本的操作

4.1 在一台机器上创建一个主题

./bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 3 --partitions 1 --topic hello

4.2在一台机器上创建一个发布者

换一个节点去执行
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic hello

4.3在一台机器上创建一个订阅者

换一个节点去执行
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic hello --from-beginning

4.4查看已创建topic

./bin/kafka-topics.sh --list --zookeeper localhost:2181

4.5查看已创建topic的情况

./bin/kafka-topics.sh --describe --zookeeper 127.0.0.1:2181

4.6删除topic

./bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic hello