Linux下Kafka集群搭建

1 zookeeper集群搭建

1. 下载
   官网：https://zookeeper.apache.org/releases.html#download

2. 解压

   tar zxvf zookeeper-3.4.14.tar.gz 
   

3. 修改配置文件名为zoo.cfg

   cd zookeeper
   mv zoo_sample.cfg  zoo.cfg
   ``
   

4. 到zookeeper目录下创建data文件夹，并创建myid文件

   mkdir data
   echo 1 > myid
   

5. 配置文件修改项vim zoo.cfg

   # 数据路径
   dataDir=/root/kafka/zookeeper/data
   
   #配置集群通信端口
   server.1=192.168.183.132:2881:3881
   server.2=192.168.183.133:2881:3881
   server.3=192.168.183.134:2881:3881
   

6. 添加环境变量

   vim /etc/profile
   
   # /root/kafka/zookeeper/bin为zookeeper的bin目录
   PATH=$PATH:$HOME/bin:/root/kafka/zookeeper/bin
   export PATH
   
   source /etc/profile
   

7. 启动zookeeper

   zkServer.sh start
   

8. 查看zookeeper状态

   zkServer.sh status
   

   

2 kafka集群搭建

1. 下载
   官网：https://kafka.apache.org/downloads
2. 解压

   	tar zxvf kafka_2.12-2.5.0.tgz
   

3. 进入解压后kafka目录，创建logs目录，并拷贝logs路径

   cd kafka
   mkdir logs
   pwd
   

4. 进入config目录，修改server.properties文件

   cd config
   vim server.properties
   

5. 配置文件修改如下

   broker.id=1											# 每个节点不能一样
   listeners=PLAINTEXT://192.168.183.132:9092			# 监听的哪个节点与端口
   log.dirs=/root/kafka/kafka/logs						# 日志目录
   zookeeper.connect=192.168.183.132:2181, 192.168.183.133:2181, 192.168.183.134:2181	# zookeeper连接地址
   

6. server.properties详解

   broker.id=0  #当前机器在集群中的唯一标识，和zookeeper的myid性质一样
   port=19092 #当前kafka对外提供服务的端口默认是9092
   host.name=192.168.7.100 #这个参数默认是关闭的，在0.8.1有个bug，DNS解析问题，失败率的问题。
   num.network.threads=3 #这个是borker进行网络处理的线程数
   num.io.threads=8 #这个是borker进行I/O处理的线程数
   log.dirs=/opt/kafka/kafkalogs/ #消息存放的目录，这个目录可以配置为“，”逗号分割的表达式，上面的num.io.threads要大于这个目录的个数这个目录，如果配置多个目录，新创建的topic他把消息持久化的地方是，当前以逗号分割的目录中，那个分区数最少就放那一个
   socket.send.buffer.bytes=102400 #发送缓冲区buffer大小，数据不是一下子就发送的，先回存储到缓冲区了到达一定的大小后在发送，能提高性能
   socket.receive.buffer.bytes=102400 #kafka接收缓冲区大小，当数据到达一定大小后在序列化到磁盘
   socket.request.max.bytes=104857600 #这个参数是向kafka请求消息或者向kafka发送消息的请请求的最大数，这个值不能超过java的堆栈大小
   num.partitions=1 #默认的分区数，一个topic默认1个分区数
   log.retention.hours=168 #默认消息的最大持久化时间，168小时，7天
   message.max.byte=5242880  #消息保存的最大值5M
   default.replication.factor=2  #kafka保存消息的副本数，如果一个副本失效了，另一个还可以继续提供服务
   replica.fetch.max.bytes=5242880  #取消息的最大直接数
   log.segment.bytes=1073741824 #这个参数是：因为kafka的消息是以追加的形式落地到文件，当超过这个值的时候，kafka会新起一个文件
   log.retention.check.interval.ms=300000 #每隔300000毫秒去检查上面配置的log失效时间（log.retention.hours=168 ），到目录查看是否有过期的消息如果有，删除
   log.cleaner.enable=false #是否启用log压缩，一般不用启用，启用的话可以提高性能
   zookeeper.connect=192.168.7.100:12181,192.168.7.101:12181,192.168.7.107:1218 #设置zookeeper的连接端口
   

7. 配置kafka环境变量

   vim /etc/profile
   
   # /root/kafka/zookeeper/bin为zookeeper的bin目录
   PATH=$PATH:$HOME/bin:/root/kafka/kafka/bin
   exprot=PATH
   
   source /etc/profile
   

8. 启动kafka

   kafka-server-start.sh -daemon /root/kafka/kafka/config/server.properties
   

9. 查看状态

   #执行命令jps
   20348 Jps
   4233 QuorumPeerMain
   18991 Kafka
   

3 kafka集群测试

1. 创建主题

   kafka-topics.sh --create --zookeeper 192.168.183.132:2181, 192.168.183.133:2181, 192.168.183.134:2181 --topic test --partitions 2 --replication-factor 2
   

2. 发送消息

   kafka-console-producer.sh --broker-list 192.168.183.133:9092 --topic test
   

3. 接收消息

   kafka-console-consumer.sh --bootstrap-server 192.168.213.132:9092,192.168.183.133:9092,192.168.183.134:9092 --topic test --from-beginning