8.centos7上进行kafka集群部署

在kafka集群部署之前，要在虚拟机centos7中安装jdk和zookeeper。

一、kafka安装集群部署

1.解压安装包

-C表示解压到指定的文件夹

 tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/

2.修改解压后的文件名称

mv kafka_2.11-0.11.0.0/ kafka

3.在/opt/module/kafka目录下创建logs文件夹，存放日志

 mkdir logs

4.修改配置文件

[atguigu@hadoop102 kafka]$ cd config/

[atguigu@hadoop102 config]$ vi server.properties

输入以下红色内容：

#broker的全局唯一编号，不能重复 broker.id=0 #是否允许删除topic delete.topic.enable=true #处理网络请求的线程数量 num.network.threads=3 #用来处理磁盘IO的线程数量 num.io.threads=8 #发送套接字的缓冲区大小 socket.send.buffer.bytes=102400 #接收套接字的缓冲区大小 socket.receive.buffer.bytes=102400 #请求套接字的最大缓冲区大小 socket.request.max.bytes=104857600 #kafka运行日志存放的路径 log.dirs=/opt/module/kafka/logs #topic在当前broker上的分区个数 num.partitions=1 #用来恢复和清理data下数据的线程数量 num.recovery.threads.per.data.dir=1 #segment文件保留的最长时间，超时将被删除 log.retention.hours=168 #配置连接Zookeeper集群地址，hadoop102为虚拟机主机名称 zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181 listeners = PLAINTEXT://hadoop102:9092 # zookeeper连接Kafka超时设置，最好设置长一些，不然容易启动超时 zookeeper.connection.timeout.ms=60000

• broker.id：每台机器不能一样
• zookeeper.connect：因为我有3台zookeeper服务器，所以在这里zookeeper.connect设置为3台，必须全部加进去
• listeners：在配置集群的时候，必须设置，不然以后的操作会报找不到leader的错误
•  kafka实例broker监听默认端口9092，配置listeners=PLAINTEXT://hadoop102:9092
• zookeeper默认的端口号是2181

5.配置环境变量

 

[root@hadoop102 module]# vi /etc/profile

#KAFKA_HOME export KAFKA_HOME=/opt/module/kafka export PATH=$PATH:$KAFKA_HOME/bin

配置完后，还要启用配置：

[root@hadoop102 module]# source /etc/profile

6.集群配置

• 拷贝配置好的kafka到其他机器上

[atguigu@hadoop102 module]$ scp -r kafka/ hadoop103:/opt/module/

也可：scp -r kafka/ hadoop103:$PWD

• 修改配置信息broker.id (注：broker.id不得重复)
• 配置相应环境变量

7.分别在hadoop103和hadoop104上修改配置文件/opt/module/kafka/config/server.properties中的broker.id=1、broker.id=2

       注：broker.id不得重复

8、启动集群

依次在hadoop102、hadoop103、hadoop104节点上启动kafka

-daemon 可选，表示后台启动kafka

[atguigu@hadoop102 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties
[atguigu@hadoop103 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties
[atguigu@hadoop104 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties

9.关闭集群

[atguigu@hadoop102 kafka]$ bin/kafka-server-stop.sh stop
[atguigu@hadoop103 kafka]$ bin/kafka-server-stop.sh stop
[atguigu@hadoop104 kafka]$ bin/kafka-server-stop.sh stop

10.kafka群起脚本

二、kafka相关命令

1.启动kafka

全部机器都要启动，命令（在/usr/local/kafka/目录执行，其他位置做相应修改）：

bin/kafka-server-start.sh -daemon config/server.properties

使用jps命令检查是否启动成功，如图表示启动成功：

关闭：如果bin目录中stop脚本不能关闭，则可以使用：

jps -l | grep 'kafka\.Kafka'

查看kafka进程id，然后使用 kill -9 id 直接关闭kafka进程。
2.创建topic（在服务器/usr/local/kafka/目录执行，其他位置做相应修改）

选项说明：

--topic 定义topic名

--replication-factor  定义副本数

--partitions  定义分区数

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

这里的 localhost:2181是在 默认生产者producer.properties配置当中，位于kafka的config目录下。用于初始化建立和Kafka集群的连接。当然localhost:2181也在 默认消费者consumer.properties配置当中。

3.查看topic

[atguigu@hadoop102 kafka]$

bin/kafka-topics.sh --list --zookeeper localhost:2181

4.删除topic

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

5.发送消息

[atguigu@yang101 kafka]$ bin/kafka-console-producer.sh --broker-list yang101:9092 --topic test

>hello world

>atguigu  atguigu

6.消费消息

[atguigu@yang102 kafka]$

bin/kafka-console-consumer.sh --bootstrap-server yang102:9092 --topic test --from-beginning

--from-beginning：会把test主题中以往所有的数据都读取出来。根据业务场景选择是否增加该配置。

7。查看某个Topic的详情

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test