Kafka 实战指南——Kafka 集群部署

1. 环境准备

1.1 集群规划

hadoop102	hadoop102	hadoop102
zk	zk	zk
kafka	kafka	kafka

1.2 安装包下载

http://kafka.apache.org/downloads.html

2. Kafka 集群部署

1. 解压安装包

   [dwjf321@hadoop102 software]$ tar -zxvf kafka_2.11-2.0.1.tgz -C /opt/module/
   

2. 修改解压后的文件名称

   [dwjf321@hadoop102 module]$ mv kafka_2.11-2.0.1/ kafka
   

3. 在/opt/module/kafka目录下创建 logs文件夹

   [dwjf321@hadoop102 kafka]$ mkdir logs
   

4. 修改配置文件

   [dwjf321@hadoop102 kafka]$ cd config/
   [dwjf321@hadoop102 config]$ vim server.properties
   

   输入以下内容：

   #broker的全局唯一编号，不能重复
   broker.id=0
   #删除topic功能使能
   delete.topic.enable=true
   #处理网络请求的线程数量
   num.network.threads=3
   #用来处理磁盘IO的现成数量
   num.io.threads=8
   #发送套接字的缓冲区大小 100kb
   socket.send.buffer.bytes=102400
   #接收套接字的缓冲区大小 100kb
   socket.receive.buffer.bytes=102400
   #请求套接字的缓冲区大小 100M
   socket.request.max.bytes=104857600
   #kafka运行日志存放的路径	
   log.dirs=/opt/module/kafka/logs
   #topic在当前broker上的分区个数
   num.partitions=1
   #用来恢复和清理data下数据的线程数量
   num.recovery.threads.per.data.dir=1
   #segment文件保留的最长时间，超时将被删除 7天
   log.retention.hours=168
   #配置连接Zookeeper集群地址
   zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181
   

5. 配置环境变量

   [dwjf321@hadoop102 module]$ sudo vi /etc/profile
   

   #KAFKA_HOME
   export KAFKA_HOME=/opt/module/kafka
   export PATH=$PATH:$KAFKA_HOME/bin
   

   [dwjf321@hadoop102 module]$ source /etc/profile
   

6. 分发安装包

   [dwjf321@hadoop102 module]$ xsync kafka/
   

​ 注意：分发之后记得配置其他机器的环境变量

7. 分别在 hadoop103 和 hadoop104 上修改配置文件 /opt/module/kafka/config/server.properties中的 broker.id=1、broker.id=2

​ 注：broker.id不得重复

8. 启动集群

   依次在 hadoop102、hadoop103、hadoop104 节点上启动 kafka

   [dwjf321@hadoop102 kafka]$ bin/kafka-server-start.sh config/server.properties &
   [dwjf321@hadoop103 kafka]$ bin/kafka-server-start.sh config/server.properties &
   [dwjf321@hadoop104 kafka]$ bin/kafka-server-start.sh config/server.properties &
   

9. 关闭集群

   [dwjf321@hadoop102 kafka]$ bin/kafka-server-stop.sh stop
   [dwjf321@hadoop103 kafka]$ bin/kafka-server-stop.sh stop
   [dwjf321@hadoop104 kafka]$ bin/kafka-server-stop.sh stop
   

10. 集群启动关闭脚本

    #! /bin/bash
    case $1 in
    "start"){
            for i in hadoop102 hadoop103 hadoop104
            do
                    echo " --------启动 $i Kafka-------"
                    # 用于KafkaManager监控
                    ssh $i "export JMX_PORT=9988 && /opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties "
            done
    };;
    "stop"){
            for i in hadoop102 hadoop103 hadoop104
            do
                    echo " --------停止 $i Kafka-------"
                    ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh stop"
            done
    };;
    esac
    

3. Kafka 命令行操作

1. 查看当前服务器中的所有 topic

   [dwjf321@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --list
   

2. 创建topic

   [dwjf321@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions 1 --topic first
   

   选项说明：

   --topic定义topic名

   --replication-factor定义副本数

   --partitions定义分区数

3. 删除topic

   [dwjf321@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --delete --topic first
   

   需要 server.properties中设置 delete.topic.enable=true否则只是标记删除或者直接重启。

4. 发送消息

   [dwjf321@hadoop102 kafka]$ bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic first
   >hello world
   >java
   

5. 消费消息

   [dwjf321@hadoop103 kafka]$ bin/kafka-console-consumer.sh --zookeeper hadoop102:2181 --from-beginning --topic first
   

   --from-beginning：会把first主题中以往所有的数据都读取出来。根据业务场景选择是否增加该配置。

6. 查看某个Topic的详情

   [dwjf321@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --describe --topic first