Kafka集群部署

1 环境准备

1.1 集群规划

Kafka集群规划

master-node	slave-node1	slave-node2
zk	zk	zk
kafka	kafka	kafka

1.2 jar下载

http://kafka.apache.org/downloads.html

2 集群部署

(1）解压安装包

[caimh@master-node software]$ tar -zxvf kafka_2.11-1.1.1.tgz  -C /opt/module/

(2）在/opt/module/kafka_2.11-1.1.1目录下创建logs文件夹

[caimh@master-node kafka_2.11-1.1.1]$ mkdir logs

(3）修改配置文件

输入以下内容：

[caimh@master-node config]$ vim server.properties
#broker的全局唯一编号，不能重复
broker.id=0
#删除topic功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径      
log.dirs=/opt/module/kafka_2.11-1.1.1/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址
zookeeper.connect=master-node:2181,slave-node1:2181,slave-node2:2181

(4）配置环境变量

[caimh@master-node kafka_2.11-1.1.1]$ sudo vim /etc/profile
#KAFKA_HOME配置
export KAFKA_HOME=/opt/module/kafka_2.11-1.1.1
export PATH=$PATH:$KAFKA_HOME/bin
[caimh@master-node kafka_2.11-1.1.1]$ source /etc/profile

(5）分发安装包

[caimh@master-node module]$ xsync kafka_2.11-1.1.1/

注意：分发之后记得配置其他机器的环境变量

[caimh@master-node module]$ sudo rsync -rvl /etc/profile root@slave-node1:/etc/profile
[caimh@master-node module]$ sudo rsync -rvl /etc/profile root@slave-node2:/etc/profile

(6）分别在slave-node1和slave-node2上修改配置文件/opt/module/kafka_2.11-1.1.1/config/server.properties中的broker.id=1、broker.id=2      

注：broker.id不得重复

[caimh@slave-node1 config]$ vim server.properties
broker.id=1
[caimh@slave-node2 config]$ vim server.properties 
broker.id=2

(7）启动集群

依次在master-node、slave-node1、slave-node2节点上启动kafka

[caimh@master-node kafka_2.11-1.1.1]$ bin/kafka-server-start.sh config/server.properties &
[caimh@slave-node1 kafka_2.11-1.1.1]$  bin/kafka-server-start.sh config/server.properties &
[caimh@slave-node2 kafka_2.11-1.1.1]$  bin/kafka-server-start.sh config/server.properties &

注意：kafka进程是阻塞进程，不加 & ，表示启动前台进程，阻塞前台窗口，无法输入其他命令，一般都是克隆一个窗口输入内容；加& 表示启动后台进程（窗口可用，但是后台日志也会输出到当前窗口，影响交互使用）。

(8）关闭集群

[caimh@master-node kafka_2.11-1.1.1]$ bin/kafka-server-stop.sh stop

3 Kafka命令行操作

（1）查看当前服务器中的所有topic

[caimh@master-node kafka_2.11-1.1.1]$ bin/kafka-topics.sh --zookeeper master-node:2181 --list

（2）创建topic

[caimh@master-node kafka_2.11-1.1.1]$ bin/kafka-topics.sh --zookeeper master-node:2181 --create --replication-factor 3 --partitions 1 --topic topic_one
[caimh@master-node kafka_2.11-1.1.1]$ bin/kafka-topics.sh --zookeeper master-node:2181 --list
topic_one

选项说明：

--topic 定义topic名

--replication-factor  定义副本数

--partitions  定义分区数

(3）发送消息

[caimh@master-node kafka_2.11-1.1.1]$ bin/kafka-console-producer.sh --broker-list master-node:9092 --topic topic_one
>hello
>world

(4）消费消息

[caimh@slave-node1 kafka_2.11-1.1.1]$ bin/kafka-console-consumer.sh --zookeeper master-node:2181 --from-beginning --topic topic_one
Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].
hello
world

--from-beginning：会把topic_one主题中以往所有的数据都读取出来。根据业务场景选择是否增加该配置。

(5）查看某个Topic的详情

[caimh@master-node kafka_2.11-1.1.1]$ bin/kafka-topics.sh --zookeeper master-node:2181 --describe --topic topic_one
Topic:topic_one PartitionCount:1        ReplicationFactor:3     Configs:
        Topic: topic_one        Partition: 0    Leader: 0       Replicas: 0,2,1 Isr: 0,2,1

--describe 描述详情

注意：Paritition:0，0指的是broker_id，server.properties配置文件中配置的。

(6)删除topic

[caimh@slave-node1 kafka_2.11-1.1.1]$ bin/kafka-topics.sh --zookeeper master-node:2181 --delete --topic topic_one

需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。