Docker环境搭建kafka和常用命令

环境搭建

1. 镜像拉取

// 拉取最新的zookeeper镜像
docker pull wurstmeister/zookeeper

// 拉取最新的zookeeper镜像
docker pull wurstmeister/kafka

//查看镜像拉取是否成功
docker images

2. 启动服务

// 启动zookeeper
docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

// 启动kafka
docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env KAFKA_ADVERTISED_HOST_NAME=你的服务器IP地址 --env KAFKA_ADVERTISED_PORT=9092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka:latest

// 查看服务启动结果
docker ps

// 进入服务器
docker exec -it kafka /bin/bash

3. docker-compose启动服务

//启动命令
docker-compose up -d

// 查看服务启动结果
docker ps

// 进入服务器
docker exec -it kafka /bin/bash

docker-compose.yml启动文件

#docker-compose 文件所用版本号 这个需要注意 不同版本写法还是有点小区别的
version: '3'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    container_name: zookeeper
    restart: always
    ports:
    #外暴映射端口 
      - 2181:2181
  kafka:
    image: wurstmeister/kafka:latest
    container_name: kafka
    restart: always
    ports:
    #外暴映射端口 
      - 9092:9092
    environment:
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
      #kafka的host使用localhost外部会出现无法连接的问题
      - KAFKA_ADVERTISED_HOST_NAME=#服务器IP地址
      - JAVA_OPTS=-Xms128m -Xmx128m
      - TZ=Asia/Shanghai
    volumes:
      - /etc/localtime:/etc/localtime

常用命令

1. 集群命令

#进入kafka容器
docker exec -it kafka /bin/bash
cd /opt/kafka_2.13-2.8.1/bin

#查看kafka版本
kafka-broker-api-versions.sh --bootstrap-server localhost:9092 --version

2. Topic相关命令

#创建topic 1副本 3分区
kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 3 --topic test

#拓展topic分区到4分区
kafka-topics.sh --bootstrap-server localhost:9092 --alter --topic test --partitions 4

#删除指定topic
kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic test

#查询所有topic
kafka-topics.sh --list --bootstrap-server localhost:9092

#查询所有topic的详情
kafka-topics.sh --bootstrap-server localhost:9092 --describe

#查询指定topic的详情
kafka-topics.sh --bootstrap-server localhost:9092 --topic topic名称 --describe

#查询消费者列表
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

#查询指定服务组的消费详情
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group

#生产者发送消息
kafka-console-producer.sh --broker-list localhost:9092 --topic test

#消费者消费消息
kafka-verifiable-consumer.sh --broker-list localhost:9092 --topic test --group-id testGroup