Kafka集群部署

Kafka集群部署

• 解压

  • tar -zxf /usr/local/install/kafka_2.12-2.4.1.tgz -C /opt/
    

• 配置环境变量

  • vi /root/.bash_profile
    export KAFKA_HOME=/opt/kafka_2.12-2.4.1
    export PATH=$PATH:$KAFKA_HOME/bin
    #分发
    

• 修改配置文件

  • cd config/
    vi server.properties 
    #非编辑模式下输入搜索指令：/zookeeper.con，然后回车，修改此行为自己的Zookeeper地址
    zookeeper.connect=master:2181,slave1:2181,slave2:2181
    #非编辑模式下输入搜索指令：/listeners=，然后回车，去掉“#”，修改为master
    listeners=PLAINTEXT://master:9092
    #非编辑模式下输入搜索指令：log.dirs，然后回车，修改为以下路径：
    log.dirs=/opt/kafka_2.12-2.4.0/logs
    

• 分发

  • scp -r /opt/kafka_2.12-2.4.1 slave1:/opt/
    scp -r /opt/kafka_2.12-2.4.1 slave2:/opt/
    

• 分别修改slave1和slave2的配置

  • #slave1
    broker.id=1
    listeners=PLAINTEXT://slave1:9092
    #slave2
    broker.id=2
    listeners=PLAINTEXT://slave2:9092
    

• 分别启动Kafka

  • #切换到bin目录
    #master
    kafka-server-start.sh -daemon ../config/server.properties
    #slave1
    kafka-server-start.sh -daemon ../config/server.properties
    #slave2
    kafka-server-start.sh -daemon ../config/server.properties
    
    

• 查看进程

  • #master
    [root@master bin]# jps
    6179 QuorumPeerMain
    19370 Kafka
    19451 Jps
    #slave1
    [root@slave1 bin]# jps
    5954 Jps
    3021 QuorumPeerMain
    5886 Kafka
    #slave2
    [root@slave2 bin]# jps
    2976 QuorumPeerMain
    5889 Jps
    5812 Kafka