Docker环境搭建kafka和常用命令
环境搭建
1. 镜像拉取
// 拉取最新的zookeeper镜像
docker pull wurstmeister/zookeeper
// 拉取最新的zookeeper镜像
docker pull wurstmeister/kafka
//查看镜像拉取是否成功
docker images
2. 启动服务
// 启动zookeeper
docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper
// 启动kafka
docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env KAFKA_ADVERTISED_HOST_NAME=你的服务器IP地址 --env KAFKA_ADVERTISED_PORT=9092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka:latest
// 查看服务启动结果
docker ps
// 进入服务器
docker exec -it kafka /bin/bash
3. docker-compose启动服务
//启动命令
docker-compose up -d
// 查看服务启动结果
docker ps
// 进入服务器
docker exec -it kafka /bin/bash
docker-compose.yml启动文件
#docker-compose 文件所用版本号 这个需要注意 不同版本写法还是有点小区别的
version: '3'
services:
zookeeper:
image: wurstmeister/zookeeper
container_name: zookeeper
restart: always
ports:
#外暴映射端口
- 2181:2181
kafka:
image: wurstmeister/kafka:latest
container_name: kafka
restart: always
ports:
#外暴映射端口
- 9092:9092
environment:
- KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
#kafka的host使用localhost外部会出现无法连接的问题
- KAFKA_ADVERTISED_HOST_NAME=#服务器IP地址
- JAVA_OPTS=-Xms128m -Xmx128m
- TZ=Asia/Shanghai
volumes:
- /etc/localtime:/etc/localtime
常用命令
- 集群命令
#进入kafka容器
docker exec -it kafka /bin/bash
cd /opt/kafka_2.13-2.8.1/bin
#查看kafka版本
kafka-broker-api-versions.sh --bootstrap-server localhost:9092 --version
- Topic相关命令
#创建topic 1副本 3分区
kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 3 --topic test
#拓展topic分区到4分区
kafka-topics.sh --bootstrap-server localhost:9092 --alter --topic test --partitions 4
#删除指定topic
kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic test
#查询所有topic
kafka-topics.sh --list --bootstrap-server localhost:9092
#查询所有topic的详情
kafka-topics.sh --bootstrap-server localhost:9092 --describe
#查询指定topic的详情
kafka-topics.sh --bootstrap-server localhost:9092 --topic topic名称 --describe
#查询消费者列表
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
#查询指定服务组的消费详情
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group
#生产者发送消息
kafka-console-producer.sh --broker-list localhost:9092 --topic test
#消费者消费消息
kafka-verifiable-consumer.sh --broker-list localhost:9092 --topic test --group-id testGroup