使用docker部署单节点以及三节点集群kafka+zookeeper

单节点模式(在一台机器上部署):

docker run -d --restart=always --name zookeeper --publish 2181:2181 --volume /etc/localtime:/etc/localtime zookeeper:latest

docker run -d --restart=always --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env KAFKA_ADVERTISED_HOST_NAME=换成机器IP --env KAFKA_ADVERTISED_PORT=9092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka:latest

验证消息是否可以正常生产和消费:
进入kafka容器(A会话):
kafka-topics.sh --create --zookeeper  换成机器IP:2181 --partitions 1 --replication-factor 1 --topic test
kafka-console-producer.sh --broker-list  换成机器IP:9092 --topic test

复制一个会话,再次进入kafka容器(B会话):
kafka-console-consumer.sh --bootstrap-server  换成机器IP:9092 --topic test --from-beginning

此时在A会话中随意敲击任意字母数字后回车,即可在B会话中看到你所敲击的字母数字,则表示服务正常运行。

三节点集群模式:


A机器运行命令(先运行zookeeper):
docker run -d --name zoo-1 --restart always -e zk_id=1 -e zk_server.1=0.0.0.0:2888:3888 -e zk_server.2=B机器IP:2888:3888 -e zk_server.3=C机器IP:2888:3888 -p 2181:2181 -p 2888:2888 -p 3888:3888 zookeeper:latest

B机器运行命令:
docker run -d --name zoo-2 --restart always -e zk_id=2 -e zk_server.1=A机器IP:2888:3888 -e zk_server.2=0.0.0.0:2888:3888 -e zk_server.3=C机器IP:2888:3888 -p 2181:2181 -p 2888:2888 -p 3888:3888 zookeeper:latest

C机器运行命令:
docker run -d --name zoo-3 --restart always -e zk_id=3 -e zk_server.1=A机器IP:2888:3888 -e zk_server.2=B机器IP:2888:3888 -e zk_server.3=0.0.0.0:2888:3888 -p 2181:2181 -p 2888:2888 -p 3888:3888 zookeeper:latest


A机器运行命令(再运行kafka):
docker run -d --name kafka-1 --restart always -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=A机器IP:2181,B机器IP:2181,C机器IP:2181 -e KAFKA_ADVERTISED_HOST_NAME=A机器IP -e KAFKA_DELETE_TOPIC_ENABLE=true -e KAFKA_ADVERTISED_PORT=9092 -p 9092:9092 wurstmeister/kafka:latest

B机器运行命令:
docker run -d --name kafka-2 --restart always -e KAFKA_BROKER_ID=2 -e KAFKA_ZOOKEEPER_CONNECT=A机器IP:2181,B机器IP:2181,C机器IP:2181 -e KAFKA_ADVERTISED_HOST_NAME=B机器IP -e KAFKA_DELETE_TOPIC_ENABLE=true -e KAFKA_ADVERTISED_PORT=9092 -p 9092:9092 wurstmeister/kafka:latest

C机器运行命令:
docker run -d --name kafka-3 --restart always -e KAFKA_BROKER_ID=3 -e KAFKA_ZOOKEEPER_CONNECT=A机器IP:2181,B机器IP:2181,C机器IP:2181 -e KAFKA_ADVERTISED_HOST_NAME=C机器IP -e KAFKA_DELETE_TOPIC_ENABLE=true -e KAFKA_ADVERTISED_PORT=9092 -p 9092:9092 wurstmeister/kafka:latest

验证三节点集群是否可以正常生产和消费消息:
进入A机器kafka容器:
kafka-topics.sh --create --zookeeper A机器IP:2181,B机器IP:2181,C机器IP:2181 --partitions 3 --replication-factor 3 --topic test
kafka-console-producer.sh --broker-list A机器IP:9092 --topic test

进入B或C机器kafka容器:
kafka-console-consumer.sh --bootstrap-server B机器IP:9092 --topic test --from-beginning

此时在A机器窗口中随意敲击任意字母数字后回车,即可在B、C机器窗口中看到你所敲击的字母数字,则表示集群正常运行。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
要在Docker部署Kafka,可以按照以下步骤进行: 1. 安装DockerDocker Compose。可以从官网下载并安装。 2. 创建一个Docker Compose文件,用于定义Kafka集群的配置。以下是一个简的示例: ``` version: '3' services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" kafka: image: wurstmeister/kafka ports: - "9092:9092" environment: KAFKA_ADVERTISED_HOST_NAME: localhost KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 ``` 这个文件定义了一个Zookeeper服务和一个Kafka服务,它们都使用了Wurstmeister的Docker镜像。Kafka服务的环境变量指定了它的主机名和Zookeeper连接。 3. 在终端中进入Compose文件所在的目录,运行以下命令启动集群: ``` docker-compose up -d ``` 这将在后台启动ZookeeperKafka服务。 4. 使用Kafka命令行工具测试集群。可以使用以下命令连接到Kafka服务: ``` docker-compose exec kafka bash ``` 这将进入Kafka容器的终端。然后可以使用Kafka命令行工具,例如创建一个主题: ``` kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic mytopic ``` 然后可以使用生产者向主题发送消息: ``` kafka-console-producer.sh --broker-list localhost:9092 --topic mytopic ``` 最后,可以使用消费者从主题接收消息: ``` kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mytopic --from-beginning ``` 如果一切正常,应该可以看到生产者发送的消息在消费者的终端中打印出来。 这就是在Docker部署Kafka的基本步骤。当然,还可以进行更高级的配置,例如使用多个Kafka节点、设置ACL等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

运维无止境

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值