用docker搭建kafka集群

本文只做简单记录，留作备用，不会太详细，如有问题，可以留言/私信。

实现目标: 一台zookeeper 三台kafka

1. 安装docker yum install docker
   sudo groupadd docker
   sudo usermod -aG docker root
   service docker restart
2. docker pull wurstmeister/zookeeper 拉取zookeeper镜像
3. docker pull wurstmeister/kafka 拉取kafka镜像
4. 根据镜像创建并启动zookeeper容器
   docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper
   5.创建Kafka1容器，并启动
   docker run -d --name kafka1 -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=宿主机ip:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://宿主机ip:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka
   6.创建Kafka2容器，并启动
   docker run -d --name kafka2 -p 9093:9093 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=宿主机ip:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://宿主机ip:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafka
   需要多少个 按照格式创建即可 需要修改的是 port broker_id

kafka如果在多台服务器搭建: 其他服务器上启动的kafka也一样指向zookeeper服务所在的宿主机ip

记录下简单的kafka操作:
创建topic
kafka-topics.sh --create --zookeeper ip:2181 --replication-factor 3 --partitions 4 --topic test1
查看topic
kafka-topics.sh --list --zookeeper ip:2181
查看指定topic状态
kafka-topics.sh --zookeeper ip:2181 --topic test1 --describe

生产者
kafka-console-producer.sh --broker-list ip:9092 --topic test1
消费者
kafka-console-consumer.sh --bootstrap-server ip:9092 --topic test1 --from-beginning

记录下简单的docker操作:
docker 进入指定容器
docker exec –ti kafka1 /bin/bash来进入指定容器
查询启动的容器
docker ps
查询所有创建的容器
docker ps -a
打包
docker build -f ./docker_file -t your_name .
查看容器运行日志
docker service logs -f 容器ID