【大数据项目学习】第十二章：Kafka 集群安装部署

第十二章：Kafka 集群安装部署

一个初学者的大数据学习过程

---

---

1. 下载

Kafka 版本选择：

1. Flume 对 Kafka 版本的要求：
   http://flume.apache.org/FlumeUserGuide.html#kafka-sink
2. Spark 对 Kafka 版本的要求：
   http://spark.apache.org/docs/2.3.0/structured-streaming-kafka-integration.html
3. Kafka 版本下载：
   0.10 版本以上下载：http://mirrors.hust.edu.cn/apache/kafka/
   所有版本下载地址：http://kafka.apache.org/downloads
   这里选择下载 kafka_2.11-0.10.2.2.tgz 版本，并上传至主节点 app 目录下。

2. 解压

使用如下命令解压 Kafka 安装包：

`tar -zxvf kafka_2.11-0.10.2.2.tgz`

删除 Kafka 安装包：

rm -rf kafka_2.11-0.10.2.2.tgz

3. 修改配置文件

1.修改 zookeeper.properties

vi zookeeper.properties
#Zookeeper 数据存储路径与 Zookeeper 配置文件保持一致
dataDir=/home/hadoop/data/zookeeper/zkdata

2.修改 consumer.properties

vi consumer.properties
#配置 Zookeeper 集群连接地址
zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181

3.修改 producer.properties

vi producer.properties 
#修改 kafka 集群配置地址（0.10）
bootstrap.servers=master:9092,slave1:9092,slave2:9092
#修改 kafka 集群配置地址（0.8）
metadata.broker.list=master:9092,slave1:9092,slave2:9092

5.修改 server.properties

vi server.properties
#配置 Zookeeper 集群地址
zookeeper.connect=master:2181,slave1:2181,slave2:2181/kafka1.0
#存储日志文件目录
log.dirs=/home/hadoop/data/kafka-logs

4. Kafka 安装目录同步

通过集群分发脚本将 kafka 整个安装目录分发到其他节点

 deploy.sh kafka_2.11-0.10.2.2 /home/hadoop/app/ slave

5. 再次修改 server.properties

在各个节点分别修改 server.properties

#修改 hadoop01 节点
broker.id=1
#修改 hadoop02 节点
broker.id=2
#修改 hadoop03 节点
broker.id=3

6. 创建日志目录

在各个节点分别创建日志目录：

runRemoteCmd.sh "mkdir /home/hadoop/data/kafka-logs" all

7.Kafka 集群启动与测试

7.1 启动 Zookeeper 集群

runRemoteCmd.sh "/home/hadoop/app/zookeeper/bin/zkServer.sh start" all

7.2 启动 Kafka 集群

bin/kafka-server-start.sh config/server.properties &

7.3 查看 topic 列表

查 看 topic 列 表 ( 如 果 配 了 根 目 录 ， Zookeeper 路 径 需 要 加 上 root 目 录 ， 例 如
localhost:2181/kafka1.0)

bin/kafka-topics.sh --zookeeper localhost:2181/kafka1.0 --list

7.4 创建 topic

bin/kafka-topics.sh --zookeeper localhost:2181/kafka1.0 --create --topic test --replication-factor 3 
--partitions 3

7.5 查看 topic 详情

bin/kafka-topics.sh --zookeeper localhost:2181/kafka1.0 --describe --topic test

7.6 topic 数据发送与消费

1. 新 api 使用

hadoop02 使用自带脚本消费 topic 数据
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test

hadoop01 使用自带脚本向 topic 发送数据
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

hadoop03 使用自带脚本消费 topic 数据（此时消费最新数据）
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test

hadoop03 使用自带脚本消费 topic 数据（从头消费数据）
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

查看特定 consumer group 详情
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --list

查看 topic 每个 partition 数据消费情况
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --group xxx --describe

参数说明：
Group 消费者组
TOPIC：曾经消费或正在消费的 topic
PARTITION：分区编号
CURRENT-OFFSET：consumer group 最后一次提交的 offset
LOG-END-OFFSET：最后提交的生产消息 offset
LAG：消费 offset 与生产 offset 之间的差值
CONSUMER-ID：当前消费 topic-partition 的 group 成员 id
HOST：消费节点的 ip 地址
CLIENT-ID：客户端 id

2. 旧 api 使用

hadoop02 使用自带脚本消费 topic 数据
bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka1.0 --topic test

hadoop01 使用自带脚本向 topic 发送数据
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

hadoop03 使用自带脚本消费 topic 数据（此时消费最新数据）
bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka1.0 --topic test

hadoop03 使用自带脚本消费 topic 数据（从头消费数据）
bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka1.0 --topic test --from-beginning

查看特定 consumer group 详情
bin/kafka-consumer-groups.sh --zookeeper localhost:2181/kafka1.0 --list

查看 topic 每个 partition 数据消费情况
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group xxx

参数说明：
Group：消费者组
Topic：消费的 topic 名称
pid：分区编号
Offset：消费者组在分区上消费的位置
logSize：分区上的累计消息条数
Lag：消费 offset 与生产 offset 之间的差值
Owner：线程名称。

8.Kafka 集群监控

KafkaOffsetMonitor 是一个可以用于监控 Kafka 的 Topic 及 Consumer 消费状况的工具。以程
序一个 jar 包的形式运行，部署较为方便。只有监控功能，使用起来也较为安全。
作用：

1. 监控 Kafka 集群状态，Topic、Consumer Group 列表。
2. 图形化展示 topic 和 Consumer 之间的关系。
3. 图形化展示 Consumer 的 offset、Lag 等信息。

8.1 下载

下载地址：https://github.com/quantifind/KafkaOffsetMonitor（可以使用已经修改版本）
目前 kafka Monitor 必须使用旧 api 才可以监控到，新 api 目前还没有实现。

8.2 脚本参数格式

java -cp KafkaOffsetMonitor-assembly-0.2.1.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--zk hadoop01:2181,hadoop02:2181,hadoop03:2181/kafka1.0 \
--port 8090 \
--refresh 10.seconds \
--retain 2.days

zk：Zookeeper 集群地址
port：为开启 web 界面的端口号
refresh：刷新时间
retain：数据保留时间（单位 seconds, minutes, hours, days）

8.3 开发 kafkamonitor.sh 执行脚本

vi kafkamonitor.sh
#!/bin/sh
home=$(cd `dirname $0`; cd ..; pwd)
. ${home}/bin/common.sh
java -cp ${lib_home}KafkaOffsetMonitor-assembly-0.2.0.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--zk hadoop01:2181,hadoop02:2181,hadoop03:2181/kafka1.0 \
--port 8090 \
--refresh 10.seconds \
--retain 2.days > /dev/null 2>&1 &

8.4 脚本授权

给脚本 kafkamonitor.sh 赋予可执行权限
chmod u+x kafkamonitor.sh

8.5 启动监控脚本

bin/kafkamonitor.sh

8.6 web 可视化

master:8090