第十二章:Kafka 集群安装部署
一个初学者的大数据学习过程
文章目录
1. 下载
Kafka 版本选择:
- Flume 对 Kafka 版本的要求:
http://flume.apache.org/FlumeUserGuide.html#kafka-sink - Spark 对 Kafka 版本的要求:
http://spark.apache.org/docs/2.3.0/structured-streaming-kafka-integration.html - Kafka 版本下载:
0.10 版本以上下载:http://mirrors.hust.edu.cn/apache/kafka/
所有版本下载地址:http://kafka.apache.org/downloads
这里选择下载 kafka_2.11-0.10.2.2.tgz 版本,并上传至主节点 app 目录下。
2. 解压
使用如下命令解压 Kafka 安装包:
`tar -zxvf kafka_2.11-0.10.2.2.tgz`
删除 Kafka 安装包:
rm -rf kafka_2.11-0.10.2.2.tgz
3. 修改配置文件
1.修改 zookeeper.properties
vi zookeeper.properties
#Zookeeper 数据存储路径与 Zookeeper 配置文件保持一致
dataDir=/home/hadoop/data/zookeeper/zkdata
2.修改 consumer.properties
vi consumer.properties
#配置 Zookeeper 集群连接地址
zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181
3.修改 producer.properties
vi producer.properties
#修改 kafka 集群配置地址(0.10)
bootstrap.servers=master:9092,slave1:9092,slave2:9092
#修改 kafka 集群配置地址(0.8)
metadata.broker.list=master:9092,slave1:9092,slave2:9092
5.修改 server.properties
vi server.properties
#配置 Zookeeper 集群地址
zookeeper.connect=master:2181,slave1:2181,slave2:2181/kafka1.0
#存储日志文件目录
log.dirs=/home/hadoop/data/kafka-logs
4. Kafka 安装目录同步
通过集群分发脚本将 kafka 整个安装目录分发到其他节点
deploy.sh kafka_2.11-0.10.2.2 /home/hadoop/app/ slave
5. 再次修改 server.properties
在各个节点分别修改 server.properties
#修改 hadoop01 节点
broker.id=1
#修改 hadoop02 节点
broker.id=2
#修改 hadoop03 节点
broker.id=3
6. 创建日志目录
在各个节点分别创建日志目录:
runRemoteCmd.sh "mkdir /home/hadoop/data/kafka-logs" all
7.Kafka 集群启动与测试
7.1 启动 Zookeeper 集群
runRemoteCmd.sh "/home/hadoop/app/zookeeper/bin/zkServer.sh start" all
7.2 启动 Kafka 集群
bin/kafka-server-start.sh config/server.properties &
7.3 查看 topic 列表
查 看 topic 列 表 ( 如 果 配 了 根 目 录 , Zookeeper 路 径 需 要 加 上 root 目 录 , 例 如
localhost:2181/kafka1.0)
bin/kafka-topics.sh --zookeeper localhost:2181/kafka1.0 --list
7.4 创建 topic
bin/kafka-topics.sh --zookeeper localhost:2181/kafka1.0 --create --topic test --replication-factor 3
--partitions 3
7.5 查看 topic 详情
bin/kafka-topics.sh --zookeeper localhost:2181/kafka1.0 --describe --topic test
7.6 topic 数据发送与消费
- 新 api 使用
hadoop02 使用自带脚本消费 topic 数据
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
hadoop01 使用自带脚本向 topic 发送数据
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
hadoop03 使用自带脚本消费 topic 数据(此时消费最新数据)
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
hadoop03 使用自带脚本消费 topic 数据(从头消费数据)
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
查看特定 consumer group 详情
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --list
查看 topic 每个 partition 数据消费情况
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --group xxx --describe
参数说明:
Group 消费者组
TOPIC:曾经消费或正在消费的 topic
PARTITION:分区编号
CURRENT-OFFSET:consumer group 最后一次提交的 offset
LOG-END-OFFSET:最后提交的生产消息 offset
LAG:消费 offset 与生产 offset 之间的差值
CONSUMER-ID:当前消费 topic-partition 的 group 成员 id
HOST:消费节点的 ip 地址
CLIENT-ID:客户端 id
- 旧 api 使用
hadoop02 使用自带脚本消费 topic 数据
bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka1.0 --topic test
hadoop01 使用自带脚本向 topic 发送数据
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
hadoop03 使用自带脚本消费 topic 数据(此时消费最新数据)
bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka1.0 --topic test
hadoop03 使用自带脚本消费 topic 数据(从头消费数据)
bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka1.0 --topic test --from-beginning
查看特定 consumer group 详情
bin/kafka-consumer-groups.sh --zookeeper localhost:2181/kafka1.0 --list
查看 topic 每个 partition 数据消费情况
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group xxx
参数说明:
Group:消费者组
Topic:消费的 topic 名称
pid:分区编号
Offset:消费者组在分区上消费的位置
logSize:分区上的累计消息条数
Lag:消费 offset 与生产 offset 之间的差值
Owner:线程名称。
8.Kafka 集群监控
KafkaOffsetMonitor 是一个可以用于监控 Kafka 的 Topic 及 Consumer 消费状况的工具。以程
序一个 jar 包的形式运行,部署较为方便。只有监控功能,使用起来也较为安全。
作用:
- 监控 Kafka 集群状态,Topic、Consumer Group 列表。
- 图形化展示 topic 和 Consumer 之间的关系。
- 图形化展示 Consumer 的 offset、Lag 等信息。
8.1 下载
下载地址:https://github.com/quantifind/KafkaOffsetMonitor(可以使用已经修改版本)
目前 kafka Monitor 必须使用旧 api 才可以监控到,新 api 目前还没有实现。
8.2 脚本参数格式
java -cp KafkaOffsetMonitor-assembly-0.2.1.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--zk hadoop01:2181,hadoop02:2181,hadoop03:2181/kafka1.0 \
--port 8090 \
--refresh 10.seconds \
--retain 2.days
zk:Zookeeper 集群地址
port:为开启 web 界面的端口号
refresh:刷新时间
retain:数据保留时间(单位 seconds, minutes, hours, days)
8.3 开发 kafkamonitor.sh 执行脚本
vi kafkamonitor.sh
#!/bin/sh
home=$(cd `dirname $0`; cd ..; pwd)
. ${home}/bin/common.sh
java -cp ${lib_home}KafkaOffsetMonitor-assembly-0.2.0.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--zk hadoop01:2181,hadoop02:2181,hadoop03:2181/kafka1.0 \
--port 8090 \
--refresh 10.seconds \
--retain 2.days > /dev/null 2>&1 &
8.4 脚本授权
给脚本 kafkamonitor.sh 赋予可执行权限
chmod u+x kafkamonitor.sh
8.5 启动监控脚本
bin/kafkamonitor.sh
8.6 web 可视化
master:8090