Docker 安装 Kafka

1、准备工作

1.1、CentOS7 安装 Docker

CentOS7 安装 Docker

1.2、创建挂载目录

# 创建挂载目录
mkdir -p /home/docker/kafka

1.3、创建 bridge 网络

注意：多容器IP访问必备

#创建自定义网络
docker network create --driver bridge --subnet 172.0.0.0/16 woniu_network
 
#查看已存在网络
docker network ls

2、安装 Kafka

2.1、创建配置文件

# 启动 kafka 容器
docker run -d  -p 9092:9092 \
--name kafka \
--network woniu_network \
--ip 172.0.0.10 \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=172.0.0.8:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.0.0.10:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
wurstmeister/kafka:latest
 
# 把容器中的配置文件复制出来
docker cp -a kafka:/opt/kafka/config/ /home/docker/kafka/config
 
# 删除 zookeeper 容器
docker rm -f kafka

2.2、启动 kafka

# 启动 kafka
docker run -d  -p 9092:9092 \
--name kafka \
--network woniu_network \
--ip 172.0.0.10 \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=172.0.0.8:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.0.0.10:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
-v /home/docker/kafka/config:/opt/kafka/config \
wurstmeister/kafka:latest

2.3、查看 kafka 版本

# 打开一个交互终端
docker exec -it kafka /bin/bash

# 查看 kafka 版本
find / -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'

3、安装 Kafka 管理平台

3.1、启动 Kafka 管理平台

docker run -d -p 9090:9000 \
--name=kafka-manager \
--network woniu_network \
--ip 172.0.0.9 \
-e ZK_HOSTS="10.0.7.62:2181" \
sheepkiller/kafka-manager

 安装最新版本

docker run -d -p 9000:9000 \
--name kafkar-cmak \
--network woniu_network \
--ip 172.0.0.9 \
- e ZK_HOSTS="10.0.7.62:2181" \
vimagick/cmak

3.2、Kafka 管理平台访问地址

访问： http://10.0.7.63:9090

3.3、Add Cluster

4、应用测试

4.1、在 kafka 容器中开启一个交互模式的终端

docker exec -it kafka /bin/bash

4.2、常用命令

# 进入命令目录
cd /opt/kafka_2.12-2.5.0/bin/

# 创建主题（2个分区，1个副本）
kafka-topics.sh --create --zookeeper 172.0.0.8:2181 --replication-factor 1 --partitions 2 --topic woniu

# topic列表查询（支持0.9版本+）
kafka-topics.sh --list --bootstrap-server 172.0.0.10:9092

# 新消费者列表查询（支持0.10版本+）
kafka-consumer-groups.sh --bootstrap-server 172.0.0.10:9092 --list

# 创建生产者
 kafka-console-producer.sh --broker-list 172.0.0.10:9092 --topic woniu --producer.config ../config/producer.properties

# 创建消费者
kafka-console-consumer.sh --bootstrap-server 172.0.0.10:9092 --topic woniu --from-beginning --consumer.config ../config/consumer.properties