—— 目录 ——
0. 前言
本博客使用的版本是 0.11.0.3
各版本的区别可以自行了解,大致可选 0.11.x
1.x
2.x
三种版本
① 使用的集群是 Docker 搭建的,可参见:
【Docker x Hadoop】使用 Docker 搭建 Hadoop 集群(从零开始保姆级)
② 由于 Docker 搭建的集群有局限性,需要频繁为 Docker 容器动态添加端口映射(下边也会用到),可参见:
【Docker之轨迹】为正在运行中的容器动态添加端口映射(使用 iptables,附删除 iptables 规则)
③ 集群之间的分发脚本 xsync 参照尚硅谷,可参见:
【Linux之轨迹】Linux 各种实用小功能合集(持续补充)
④ 该版本的 kafka 需要用到 zookeeper,简单的搭建流程可参见:
【Zookeeper之轨迹】Zookeeper 入门使用(集群使用 Docker 模拟)
⑤ 由于 Kafka 需要占用较多内存,必要的话需要使用 swap 交换分区(相当于虚拟内存),可参见:
【Linux之轨迹】1核2G 内存不够怎么办?Swap 交换分区解决内存不足问题
1. 安装、启动与关闭
① 下载与配置
下载地址:http://kafka.apache.org/downloads
上传压缩包到服务器集群任意一台,解压,然后使用 xsync
分发到集群中的各个容器,再
tar -zxvf kafka_2.11-0.11.0.3.tgz
xsync kafka_2.11-0.11.0.3
rm -rf kafka_2.11-0.11.0.3.tgz
# 这一步改名可选
mv kafka_2.11-0.11.0.3 kafka_0.11.0.3
然后进行配置
1) 在 kafka_0.11.0.3 目录下新建文件夹 data 作为临时存放数据的文件夹
mkdir data
2) 然后进入 config 目录修改 server.properties 文件
vim server.properties
下面是对配置文件的修改
1) 首先修改 broker.id,每台服务器需要唯一,下边是我的配置
`hadoop001:broker.id=1
hadoop002:broker.id=2
hadoop003:broker.id=3`
2) 接着设置主题允许被删除(将注释打开)
`delete.topic.enable=true`
3) 修改数据暂存的目录,默认存放在 tmp 中会被定时删除,需修改为我们刚刚新建的 data 文件夹路径
名字看着像日志文件输出的地方,但实际存放的是真实数据的
`log.dirs=/xxx/kafka_0.11.0.3/data`
4) 修改 zookeeper 连接信息,以下是我的配置供参考(用逗号隔开)
`zookeeper.connect=hadoop001:2181,hadoop002:2181,hadoop003:2181`
5) 然后将配置文件分发到各台服务器上(data 文件夹也顺带分发了)
`xsync data/ config/server.properties`
6) 最后修改每一台服务器的 broker.id,就完事了
② 启动与关闭
首先确保三台服务器的 zookeeper 都已经启动,然后执行:
bin/kafka-server-start.sh config/