Docker搭建Kafka集群
Kafka的运行依赖Zookeeper，本文介绍如何在docker顺利搭建一个三个broker构成的kafka集群。将通过以下步骤详细展开：
- 拉取镜像
bitnami/kafkaandbitnami/zookeeper- 创建
network使集群在同一子网下knet- 创建三个节点的配置文件以供挂载
- 创建hosts文件以供挂载
- 运行镜像
- 测试是否搭建成功
环境说明
linux+centos+jdk8
拉取镜像
zookeeper
docker pull bitnami/zookeeper
kafka
docker pull bitnami/kafka
创建network使集群在同一子网下: knet
docker network create knet
在运行容器时指定
docker run --net knet ...可以将容器置于子网中，ip地址是根据进入子网的顺序递增的。
可通过docker network ls查看子网列表。
可通过docker network inspect 子网名称查看具体子网下游哪些容器。
创建配置文件
配置文件说明：
kafka的配置文件server.properties在容器中的位置为：/bitnami/kafka/config在运行容器时挂载到这个文件夹即可替换配置文件。
约定：创建三个节点的配置文件分别存放在/home/docker/kafka/config/node1/server.properties、/home/docker/kafka/config/node2/server.properties、/home/docker/kafka/config/node3/server.properties
三个配置文件内容如下：
节点1的server.properties:
# broker id
broker.id = 1
# 监听地址
listeners = PLAINTEXT://node1:9091
advertised.listeners = PLAINTEXT://node1:9091
# 发送响应的线程数
num.network.threads = 2
# io线程数
num.io.threads = 4
# 发送缓存大小
socket.send.buffer.bytes = 10240
# 接收缓存大小
socket.receive.buffer.bytes = 10240
# 最大请求
socket.request.max.bytes = 1048576
# 日志地址
# log.dirs = /tmp/kafka-logs
# 分区数
num.partitions = 1
# zookeeper的地址
zookeeper.connect =172.18.0.2:2181
# 允许容器监听
ALLOW_PLAINTEXT_LISTENER=yes
节点2的server.properties:
# broker id
broker.id = 2
# 监听地址
listeners = PLAINTEXT://node2:9092
advertised.listeners = PLAINTEXT://node2:9092
# 发送响应的线程数
num.network.threads = 2
# io线程数
num.io.threads = 4
# 发送缓存大小
socket.send.buffer.bytes = 10240
# 接收缓存大小
socket.receive.buffer.bytes = 10240
# 最大请求
socket.request.max.bytes = 1048576
# 日志地址
# log.dirs = /tmp/kafka-logs
# 分区数
num.partitions = 1
# zookeeper的地址
zookeeper.connect =172.18.0.2:2181
# 允许容器监听
ALLOW_PLAINTEXT_LISTENER=yes
节点3的server.properties:
# broker id
broker.id = 3
# 监听地址
listeners = PLAINTEXT://node3:9093
advertised.listeners = PLAINTEXT://node2:9093
# 发送响应的线程数
num.network.threads = 2
# io线程数
num.io.threads = 4
# 发送缓存大小
socket.send.buffer.bytes = 10240
# 接收缓存大小
socket.receive.buffer.bytes = 10240
# 最大请求
socket.request.max.bytes = 1048576
# 日志地址
# log.dirs = /tmp/kafka-logs
# 分区数
num.partitions = 1
# zookeeper的地址
zookeeper.connect =172.18.0.2:2181
# 允许容器监听
ALLOW_PLAINTEXT_LISTENER=yes
注意: zookeeper的地址需要你查看你自己的子网ip并且替换，具体操作为：运行zookeeper后执行docker network inspect knet查看。
创建hosts
约定：将要替换掉容器内的
hosts文件,以实现将三个容器的hostname修改为node1、node2、node3.
hosts文件存放在/home/docker/kafka/etc/hosts三个容器使用同一个hosts文件，因为都需要知道node1、node2、node3的具体ip地址。
hosts文件内容如下
127.0.0.1 localhost
172.18.0.3 node1
172.18.0.4 node2
172.18.0.5 node3
注意: 请严格按照zookeeper、node1、node2、node3的顺序启动容器,因为只有这样根据子网分配ip的规律上面的hosts文件各个节点的ip才对，如果子网ip不一样请修改。
运行镜像
按照约定，我们依次启动
zookeeper、node1、node2、node3以保证ip的正确性。
启动 zookeeper
docker run -itd --name zookeeper-server -p 12181:2181 \
--net knet -e ALLOW_ANONYMOUS_LOGIN=yes bitnami/zookeeper:latest
启动kafka-node1
docker run -itd --name kafka-node1 --net knet -p 19091:9091 \
-v /home/docker/kafka/config/node1:/bitnami/kafka/config \
-v /home/docker/kafka/etc/hosts:/etc/hosts \
-e ALLOW_PLAINTEXT_LISTENER=yes bitnami/kafka
启动kafka-node2
docker run -itd --name kafka-node2 --net knet -p 19092:9092 \
-v /home/docker/kafka/config/node2:/bitnami/kafka/config \
-v /home/docker/kafka/etc/hosts:/etc/hosts \
-e ALLOW_PLAINTEXT_LISTENER=yes bitnami/kafka
启动kafka-node3
docker run -itd --name kafka-node3 --net knet -p 19093:9093 \
-v /home/docker/kafka/config/node3:/bitnami/kafka/config \
-v /home/docker/kafka/etc/hosts:/etc/hosts \
-e ALLOW_PLAINTEXT_LISTENER=yes bitnami/kafka
测试是否搭建成功
首先看看
zookeeper和三台kafka是否启动成功,启动成功则进入容器1创建topic发布消息,进入容器2接收该topic的消息。
首先docker ps -a查看所有容器,这些都是UP说明都起来了。
也可以检查一下ip是否正确：
docker network inspect knet
[
{
"Name": "knet",
"Id": "8dce5a7c2286dc412779f2eccc6da2ab48e84fd742df3466fe4f18fdc9b90556",
"Created": "2023-02-26T11:54:40.806440621+08:00",
"Scope": "local",
"Driver": "bridge",
"EnableIPv6": false,
"IPAM": {
"Driver": "default",
"Options": {},
"Config": [
{
"Subnet": "172.18.0.0/16",
"Gateway": "172.18.0.1"
}
]
},
"Internal": false,
"Attachable": false,
"Ingress": false,
"ConfigFrom": {
"Network": ""
},
"ConfigOnly": false,
"Containers": {
"2ba87b9bc25502cbb5074b2a987bbc112d36e0761347431c4a83194d9908bec9": {
"Name": "kafka-node3",
"EndpointID": "79ec91577aec61a472b6af469c66064570ebd81b88e740e2c1744a7ce546018d",
"MacAddress": "02:42:ac:12:00:05",
"IPv4Address": "172.18.0.5/16",
"IPv6Address": ""
},
"549863c6f62ab2fb6e4f673af3836b40f67413687f038d2a0254fa4f80a0b27c": {
"Name": "kafka-node2",
"EndpointID": "50d800e401e697953c0c1c6d1962422f433f6e004315f8ce70e9696973be04af",
"MacAddress": "02:42:ac:12:00:04",
"IPv4Address": "172.18.0.4/16",
"IPv6Address": ""
},
"5fc974b8eb4441202e02d75bd4718cfc3dc3be2979bafbb4b89819ce8f6b16a0": {
"Name": "kafka-node1",
"EndpointID": "0ff4794752eae5f337a12fca3de76eb00b080bf6999f7d353be4b0531662938e",
"MacAddress": "02:42:ac:12:00:03",
"IPv4Address": "172.18.0.3/16",
"IPv6Address": ""
},
"b887ba0e289bd42ed0c081177e63383e169584b41747cf66ef10142427d15321": {
"Name": "zookeeper-server",
"EndpointID": "506951e5f2c26a516d105d979596e59e8ccd59e05ae5441ec3c15f8a2ec1492e",
"MacAddress": "02:42:ac:12:00:02",
"IPv4Address": "172.18.0.2/16",
"IPv6Address": ""
}
},
"Options": {},
"Labels": {}
}
]
进入node1创建topic:
docker exec -it kafka-node1 /bin/bash
进入容器后进入bin目录创建topic并且往里面发布消息
# 进入bin目录
cd /opt/bitnami/kafka/bin/
# 创建topic
./kafka-topics.sh --create --topic demo1 --bootstrap-server node1:9091
如果搭建的没有问题将会出现以下结果表示demo1主题创建成功：
Created topic demo1.
向topic中发送消息:
./kafka-console-producer.sh --topic demo1 --bootstrap-server node1:9091
打开另一个窗口进入node2接收这条消息：
docker exec -it kafka-node2 /bin/bash
cd /opt/bitnami/kafka/bin
kafka-console-consumer.sh --topic demo1 --from-beginning --bootstrap-server node2:9092
至此，集群搭建完毕，如果遇到各种连接问题，那就是ip配置的问题，就是在监听的配置上有问题。
1627
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
