Kafka集群配置-docker版本

最新推荐文章于 2024-05-01 23:32:54 发布
最新推荐文章于 2024-05-01 23:32:54 发布
阅读量168 收藏
点赞数
分类专栏： java 文章标签： kafka docker zookeeper
原文链接：https://www.cnblogs.com/f-society/p/13950666.html
版权

一、首先搭建zookeeper集群

脚本

（1）创建zookeeper配置文件：

/data/zookeeper/zoo1/config/zoo.cfg

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
# dataDir=/opt/zookeeper-3.4.13/data
dataDir=/data
dataLogDir=/datalog
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
autopurge.purgeInterval=1

server.1=zoo1:2888:3888
server.2=zoo2:2888:3888
server.3=zoo3:2888:3888

（2）使用docker-compose文件进行搭建：

docker-compose-zookeeper.yml文件：

version: '3.7'
services:
  zoo1:
    container_name: zoo1
    hostname: zoo1
    image: wurstmeister/zookeeper
    privileged: true
    restart: unless-stopped
    ports:
      - 2181:2181
    volumes: # 挂载数据卷
      - /data/zookeeper/zoo1/config/zoo.cfg:/opt/zookeeper-3.4.13/conf/zoo.cfg
      - /data/zookeeper/zoo1/data:/data
      - /data/zookeeper/zoo1/datalog:/datalog
    environment:
      TZ: Asia/Shanghai
      ZOO_MY_ID: 1 # 节点ID
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888 # zookeeper节点列表
    
  zoo2:
    container_name: zoo2
    hostname: zoo2
    image: wurstmeister/zookeeper
    privileged: true
    restart: unless-stopped
    ports:
      - 2182:2181
    volumes: # 挂载数据卷
      - /data/zookeeper/zoo2/config/zoo.cfg:/opt/zookeeper-3.4.13/conf/zoo.cfg
      - /data/zookeeper/zoo2/data:/data
      - /data/zookeeper/zoo2/datalog:/datalog
    environment:
      TZ: Asia/Shanghai
      ZOO_MY_ID: 2 # 节点ID
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888 # zookeeper节点列表
    
  zoo3:
    container_name: zoo3
    hostname: zoo3
    image: wurstmeister/zookeeper
    privileged: true
    restart: unless-stopped
    ports:
      - 2183:2181
    volumes: # 挂载数据卷
      - /data/zookeeper/zoo3/config/zoo.cfg:/opt/zookeeper-3.4.13/conf/zoo.cfg
      - /data/zookeeper/zoo3/data:/data
      - /data/zookeeper/zoo3/datalog:/datalog
    environment:
      TZ: Asia/Shanghai
      ZOO_MY_ID: 3 # 节点ID
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888 # zookeeper节点列表

启动:

docker-compose -f docker-compose-zookeeper.yml up -d

二、然后搭建kafka集群

（1）先创建虚拟机网络

docker network create -d bridge --subnet 172.19.0.0/24 kafka_net

（2）使用docker-compose文件搭建

version: '3.2'
services:
  broker1:
    container_name: broker1
    hostname: broker1
    image: wurstmeister/kafka
    privileged: true
    restart: unless-stopped
    ports:
      - "9986:9986"
      - "9091:9091"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_LISTENERS: PLAINTEXT://:9091
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://172.16.12.163:9091
      KAFKA_ADVERTISED_HOST_NAME: 172.16.12.163
      KAFKA_ADVERTISED_PORT: 9091
      KAFKA_ZOOKEEPER_CONNECT: 172.16.12.130:2181,172.16.12.130:2182,172.16.12.130:2183
      JMX_PORT: 9986
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /data/kafka/broker1:/kafka/kafka-logs-broker2
    networks:
      default:
        ipv4_address: 172.19.0.11
 
    
  broker2:
    container_name: broker2
    hostname: broker2
    image: wurstmeister/kafka
    privileged: true
    restart: unless-stopped
    ports:
      - "9987:9987"
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_LISTENERS: PLAINTEXT://:9092
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://172.16.12.163:9092
      KAFKA_ADVERTISED_HOST_NAME: 172.16.12.163
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_ZOOKEEPER_CONNECT: 172.16.12.130:2181,172.16.12.130:2182,172.16.12.130:2183
      JMX_PORT: 9987
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /data/kafka/broker2:/kafka/kafka-logs-broker2
    networks:
      default:
        ipv4_address: 172.19.0.12


  broker3:
    container_name: broker3
    hostname: broker3
    image: wurstmeister/kafka
    privileged: true
    restart: unless-stopped
    ports:
      - "9988:9988"
      - "9093:9093"
    environment:
      KAFKA_BROKER_ID: 3
      KAFKA_LISTENERS: PLAINTEXT://:9093
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://172.16.12.163:9093
      KAFKA_ADVERTISED_HOST_NAME: 172.16.12.163
      KAFKA_ADVERTISED_PORT: 9093
      KAFKA_ZOOKEEPER_CONNECT: 172.16.12.130:2181,172.16.12.130:2182,172.16.12.130:2183
      JMX_PORT: 9988
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /data/kafka/broker3:/kafka/kafk-logs-broker3
    networks:
      default:
        ipv4_address: 172.19.0.13
   


  kafka-manager:
    image: sheepkiller/kafka-manager:latest
    container_name: kafka-manager
    hostname: kafka-manager
    restart: unless-stopped
    ports:
      - 9000:9000
    links:      # 连接本compose文件创建的container
      - broker1
      - broker2
      - broker3

    environment:
      ZK_HOSTS: 172.16.12.130:2181,172.16.12.130:2182,172.16.12.130:2183
      KAFKA_BROKERS: broker1:9091,broker2:9092,broker3:9093
      APPLICATION_SECRET: 123456
      KM_ARGS: -Djava.net.preferIPv4Stack=true
    networks:
      default:
        ipv4_address: 172.19.0.14

networks:
  default:
    external:
      name: kafka_net

启动：

docker-compose -f docker-compose-kafka.yml up -d

夏天的风€&^_^
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
bitnami版本的zookeeper和kafka的docker-compose配置
02-15
这个Docker Compose 文件定义了一个包含Zookeeper和三个Kafka节点的服务集群。通过指定镜像、端口映射、环境变量和依赖关系等配置，实现了Zookeeper和Kafka的快速部署和集成。同时，在定义了一个名为"mynetwork"的网络来连接这些服务，确保它们可以相互通信。整体而言，这个Docker Compose 文件提供了一个简单且可扩展的方式来搭建和管理Zookeeper和Kafka的集群环境。 对了，这个集群配置是支持外部访问的。
安装zookeeper及kafka集群
学习太难啦的博客
10-29 1244
安装zookeeper及kafka集群 不废话直接开始，请提前准备好镜像或者拉取新版本镜像 # 拉取镜像 docker pull zookeeper:3.4.9 docker pull kafka:2.13-2.7.0 # 拉取完毕后查看 docker images REPOSITORY TAG IMAGE ID CREATED SIZE kafka 2.13-2.7.0
如何快速部署一个高可用 Kafka 集群
easylife206的专栏
02-16 539
公众号关注「奇妙的 Linux 世界」设为「星标」，每天带你玩转 Linux ！Kafka 基本概念和系统架构在 Kafka 集群中存在以下几种节点角色：Producer：生产者，生产消息并推送到 Kafka 集群中。Consumer：消费者，从 Kafka 集群中拉取并消费消息。可以将一个和多个 Consumer 指定为一个 Consumer Group（消费者组），一个消费者组在逻辑上是一个...
docker compose部署kafka问题记录
AnswerCoder的博客
02-09 2510
docker compose 部署kafka及遇到的问题 docker-compose.yml文件如下 version: '3' services: zookepper: image: wurstmeister/zookeeper # 原镜像`wurstmeister/zookeeper` container_name: zookeeper # 容器名为'zookeeper' volumes:
docker安装zookeeper
qq_57229058的博客
05-09 2303
docker安装zookeeper 1、拉取镜像 docker pull zookeeper:latest 2、生成挂载目录 mkdir -p /study/zookeeper/data mkdir -p /study/zookeeper/conf mkdir -p /study/zookeeper/logs 3、启动容器 docker run -d \ --name zookeeper \ --privileged=true \ -p 2181:2181 \ --restart=always \ -v
docker 安装kafka_Docker环境下安装Zookeeper和Kafka
weixin_39604189的博客
11-24 211
下载 Docker 镜像：[root@centos-101 ~]# docker pull wurstmeister/zookeeper:latest[root@centos-101 ~]# docker pull wurstmeister/kafka:latest查看下载完成的Docker 镜像：docker images下面分别启动Zookeeper 和 kafka 容器，这一步骤可以忽略。直...
docker启动 wurstmeister/kafka 的命令
weixin_44524757的博客
04-10 632
KAFKA_BROKER_ID 是 Kafka 的 ID，KAFKA_ZOOKEEPER_CONNECT 是用来连接 Zookeeper 的地址，KAFKA_ADVERTISED_LISTENERS 和 KAFKA_LISTENERS 则是用来配置 Kafka 监听的地址。这个命令会在后台运行一个 Zookeeper 镜像，并将容器内的 2181 端口映射到主机的 2181 端口，2888 和 3888 端口也进行映射，它们是 Zookeeper 使用的端口。
如何在Docker中简单配置Kafka
lllms
04-20 7482
如何在Docker中简单配置Kafka 编辑器: Typora 1.在 docker 中拉取 kafka 和 zookeeper 镜像 [root@VM-24-5-centos ~]# docker pull wurstmeister/kafka [root@VM-24-5-centos ~]# docker pull wurstmeister/zookeeper 2. 启动 zookeeper [root@VM-24-5-centos ~]# docker run -d --name zookee
kafka | 1.docker部署kafka
qq_39449880的博客
07-21 3688
docker部署kafka
命令行查看Kafka版本，快速docker安装Kafka版本命令
bufegar0的博客
08-13 6755
使用背景 想要查看所安装的Kafka版本，但kafka没有提供version类的命令，只能使用一些巧妙的方法去查看了。 查看命令 1.通过命令的方式查看 docker下首先进行命令行模式 find / -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*' 再次执行下面命令查找kafka的目录 find / -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*' 显示结果如下 2.直接进入目录查看 cd /
kafkamanager-docker:雅虎 kafkamanager 的 Docker 设置
06-04
kafkamanager-docker Docker 设置要求码头工人docker-compose ( )独立运行（不需要 docker-compose） $ > docker run -p 9000:9000 -e ZKHOSTS= < server> : < port> --name= " kafka-manager " srangwal/kafka...
docker-kafka-cluster集群安装
02-22
1、kafka-docker-compose集群安装 2、kafka配置详解
docker容器中搭建kafka集群环境.doc
11-07
docker容器中搭建kafka集群环境，kafka集群配置注意事项与优化
kafka-docker:使用docker和orchestrate kafka构建kafka以及使用docker-compose构建zookeeper
04-30
Build Kafka cluster with docker-compose集群管理方法构建imagecd demokafka.0.10.1.0docker-compose build启动集群cd demokafka.0.10.1.0docker-compose up -d停止集群cd demokafka.0.10.1.0docker-compose stop...
【kafka】docker容器bitnami/kafka使用SASL鉴权（无TLS）
weixin_41855143的博客
05-01 401
可以设置为一个新的listener，也可以设置为现有的listener（controller除外），本文就以设置现有的listener为例，将改值设置为。后来发现其实是可以单独使用SASL，而且官方文档没有完整的配置资料，最后在Issue上找到解决方案。最近在学习kafka消息队列，了解到kafka是通过SASL来进行用户认证的。参数的作用是一致的，都是为了设置broker之间通信的配置，由于。默认值的，但是这个值在容器使用中会出现错误，而且在。设置之后依然存在问题，本文暂不讨论，后续就以。
搭建Kafka源码环境并测试
最新发布
蒋大钊的博客
05-01 510
搭建 Kafka 源码学习环境，本地编译部署测试
「Kafka」Kafka单机和集群安装（二）
技术路上的探险家
04-25 1399
集群启动命令后，会打开多个黑窗口，每一个窗口都是一个kafka服务，请不要关闭，一旦关闭，对应的kafka服务就停止了。如果启动过程报错，主要是因为zookeeper和kafka的同步问题，请先执行cluster-clear.cmd文件，再执行cluster.cmd文件即可。因为Kafka启动前，必须先启动ZooKeeper，并且Kafka集群中有多个节点需要启动，所以启动过程比较繁琐，这里我们将启动的指令进行封装。在cluster文件夹下创建cluster.cmd批处理文件，用于启动kafka集群。
Kafka介绍、安装以及操作
Libra_97的博客
05-01 444
Kafka介绍、安装和操作
「Kafka」Kafka基础知识入门介绍（三）
技术路上的探险家
04-25 1144
把当前的DOS窗口当成Kafka的客户端，那么进行操作前，就需要连接服务器，这里的参数就表示服务器的连接方式，因为我们在本机启动Kafka服务进程，且Kafka默认端口为9092，所以此处，后面接的参数值为localhost:9092，用空格隔开。把当前的DOS窗口当成Kafka的客户端，那么进行操作前，就需要连接服务器，这里的参数就表示服务器的连接方式，因为我们在本机启动Kafka服务进程，且Kafka默认端口为9092，所以此处，后面接的参数值为localhost:9092，用空格隔开。
kafka集群部署docker
08-16
你可以使用Docker来部署Kafka集群。下面是一个简单的步骤指南： 1. 首先，确保你已经安装了Docker和Docker Compose。 2. 创建一个新的目录，并在该目录中创建一个名为docker-compose.yml的文件。 3. 在docker-compose.yml文件中，添加以下内容： ```yaml version: '3' services: zookeeper: image: confluentinc/cp-zookeeper:latest environment: ZOOKEEPER_CLIENT_PORT: 2181 ZOOKEEPER_TICK_TIME: 2000 ports: - "2181:2181" networks: - kafka-network kafka: image: confluentinc/cp-kafka:latest depends_on: - zookeeper environment: KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092 KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1 ports: - "9092:9092" networks: - kafka-network networks: kafka-network: driver: bridge ``` 4. 保存并关闭docker-compose.yml文件。 5. 在终端中，进入到包含docker-compose.yml文件的目录，并运行以下命令启动Kafka集群： ``` docker-compose up -d ``` 6. Docker将下载并启动所需的镜像，并在后台运行Kafka集群容器。 现在，你的Kafka集群已经成功部署在Docker中。你可以使用Kafka的客户端工具来连接到Kafka集群，并进行相关操作。请注意，上述步骤只是一个简单的示例，你可以根据需要进行自定义配置和调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值