Kafka集群安装部署

1. 下载kafka安装包
   下载地址：http://www-us.apache.org/dist/kafka/2.0.0/kafka_2.11-2.0.0.tgz

2. 环境准备
   1. 准备三台虚拟机
   2. 每台机器上都安装好jdk环境
   3. 全网统一hosts映射配置
   4. 关闭防火墙

3. 上传kafka安装包

   https://blog.csdn.net/weixin_37490221/article/details/80844825
   

4. 解压

   [root@hadoop01 local]# tar -zxvf kafka_2.11-2.0.0.tgz
   [root@hadoop01 local]# ln -s kafka_2.11-2.0.0 kafka   （建立软连接）
   

5. 设置环境变量

   1. 打开环境变量配置文件

      [root@hadoop01 kafka]# vim /etc/profile
      [root@hadoop01 kafkal]# 
      

   2. 修改环境变量，在profile文件中加入下面内容

      #set kafka environment
      export KAFKA_HOME=/usr/local/kafka
      export PATH=$PATH:${KAFKA_HOME}/bin
      

   3. 加载配置文件,使之生效
      source /etc/profile

6. 修改Kafk配置文件

   [root@hadoop01 config]# vim server.properties
   

   修改server.properties中下列内容即可

   ...
   broker.id=0
   ...
   listeners=PLAINTEXT://:9092
   ...
   log.dirs=/usr/local/kafka/kafka-logs
   ...
   zookeeper.connect=hadoop05:2181,hadoop06:2181,hadoop07:2181
   ...
   

7. 分发安装包到其他机器

   [root@hadoop01 local]# scp -r /usr/local/kafka root@hadoop02:/usr/local/
   [root@hadoop01 local]# scp -r /usr/local/kafka root@hadoop03:/usr/local/
   ...
   

8. 修改其他机器的配置文件
   hadoop02上修改config/server.properties文件中broker.id=1
   hadoop03上修改config/server.properties文件中broker.id=2

9. 启动kafka集群

   1. 先启动zookeeper集群
   2. 启动每台kafka

      $> bin/kafka-server-start.sh config/server.properties
      

      kafak集群启停脚本： https://blog.csdn.net/weixin_43215250/article/details/82897900
   3. 验证是否启动

      $> netstat -anop | grep 9092
      

10. 配置文件server.properties参数说明
    见Kafka配置文件详解