Kafka集群部署

--------------------------------------------------------

前提

在启动kafaka集群，调用 bin/kafka-server-start.sh config/server.properties & 前，需要把每台机器上zookeeper服务都给启动了。

zookeeper的安装配置看，https://blog.csdn.net/With__Sunshine/article/details/88538888

--------------------------------------------------------

1 kafka集群规划

s101      s102      s103      s104

zk          zk           zk          zk

kafka     kafka      kafka     kafka

-----------------------------------------------------------

2 Kafka集群部署

1）解压安装包

tar -zxvf kafka_2.11-0.11.0.0.tgz -C /soft

2）修改解压后的文件名称,创建软链接

cd /soft

ln -s kafka_2.11-0.11.0.0 kafka

3）在/soft/kafka目录下创建logs文件夹

mkdir logs

 

4）修改配置文件

cd /soft/kafaka/config/

vim server.properties

文件内容（红色字体部分是要修改的部分，黑色字体是文件默认的内容）：

#broker的全局唯一编号，不能重复
broker.id=0
#删除topic功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=/soft/kafka/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址
zookeeper.connect=s101:2181,s102:2181,s103:2181,s104:2181

5）配置环境变量

sudo vim /etc/profile

追加内容

#KAFKA_HOME
export KAFKA_HOME=/soft/kafka
export PATH=$PATH:$KAFKA_HOME/bin

退出后source，使环境变量生效

source /etc/profile

6）分发安装包

cd /soft

scp -r kafka/ centos@s102:/soft

scp -r kafka/ centos@s103:/soft

scp -r kafka/ centos@s104:/soft

注意，分发后，还得配置其他机器的换进变量，看5)

7）分别在s102、s103、s104上修改配置文件/soft/kafka/config/server.properties中的broker.id=2、broker.id=3、broker.id=4

注：broker.id不能重复

8）启动集群

依次在s101、s102、s103、s104节点上启动kafka

[centos@s101 kafka]$ bin/kafka-server-start.sh config/server.properties &
[centos@s102 kafka]$ bin/kafka-server-start.sh config/server.properties &
[centos@s103 kafka]$ bin/kafka-server-start.sh config/server.properties &
[centos@s104 kafka]$ bin/kafka-server-start.sh config/server.properties &

备注：1.在群起kafka服务器前，先把zookeeper集群给启动的，具体看开篇的前提提示，否则的话，启动kafka时，会抛异常日志

2.server.properties 中的zookeeper机器的端口号是2181,不是zookeep集群配置zoo.cfg中集群配置的端口2888

9）关闭集群

[centos@s101 kafka]$ bin/kafka-server-stop.sh stop
[centos@s102 kafka]$ bin/kafka-server-stop.sh stop
[centos@s103 kafka]$ bin/kafka-server-stop.sh stop
[centos@s104 kafka]$ bin/kafka-server-stop.sh stop

2.3 Kafka命令行操作
1）查看当前服务器中的所有topic
[centos@s101 kafka]$ bin/kafka-topics.sh --zookeeper s101:2181 --list
2）创建topic
[centos@s101 kafka]$ bin/kafka-topics.sh --zookeeper s101:2181 \
--create --replication-factor 3 --partitions 1 --topic first
选项说明：
--topic 定义topic名
--replication-factor  定义副本数
--partitions  定义分区数
备注，登录其他机器也能查看状态

3）删除topic
[centos@s101 kafka]$ bin/kafka-topics.sh --zookeeper s101:2181 \
--delete --topic first
需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
4）发送消息
[centos@s101 kafka]$ bin/kafka-console-producer.sh \
--broker-list s101:9092 --topic first
>hello world
>hi hi
5）消费消息
[centos@s101 kafka]$ bin/kafka-console-consumer.sh \
--zookeeper s101:2181 --from-beginning --topic first
--from-beginning：会把first主题中以往所有的数据都读取出来。根据业务场景选择是否增加该配置。
6）查看某个Topic的详情
[centos@s101 kafka]$ bin/kafka-topics.sh --zookeeper s101:2181 \
--describe --topic first