docker安装kafka和zookpeer

本文介绍了如何使用Docker安装Kafka和ZooKeeper,重点提及了landoop/fast-data-dev镜像提供的全面开发环境,包括Kafka、ZooKeeper、Schema Registry和Kafka-Connect等组件,以及wurstmeister/kafka镜像。通过docker-compose配置,演示了一步一步搭建Kafka集群的过程,并提到了启动测试和Python连接Kafka的方法。
摘要由CSDN通过智能技术生成

Kafka & ZooKeeper Docker镜像

landoop/fast-data-dev

提供了一整套包括Kafka,ZooKeeper,Schema Registry,,Kafka-Connect等在内的多种开发工具和Web UI监视系统。基本上是我见过的最强大的开发环境。尤其是对于Kafka Connect的支持,包含了MongoDB,ElasticSearch,Twitter等超过20种Connector,并且提供了通过REST API提交Connector配置的Web UI。
基本是我测试Kafka Connect的首选。

wurstmeister/kafka

维护较为频繁的一个Kafka镜像。只包含了Kafka,因此需要另行提供ZooKeeper,推荐使用同一作者提交的wurstmeister/zookeeper。

一.镜像拉取

docker pull wurstmeister/zookeeper
docker pull wurstmeister/kafka

二.定义docker-compose.yml

1个zookpeer 1个kafka

version: '3'
services:
  zoo1:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
    hostname: zoo1
    container_name: zookeeper
  kafka:
    image: wurstmeister/kafka
    depends_on:
      - zoo1
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: localhost
      KAFKA_CREATE_TOPICS: "sun:1:1"
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zoo1:2181
    volumes:
      - /Users/xushuainan/docker_kafka/docker.sock:/var/run/docker.sock
    container_name: kafka

1个zookpeer 3个kafka 1个kafka-manager

version: '3.3'

services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - 2181:2181
    container_name: zookeeper
    networks:
      extnetwork:
        ipv4_address: 172.19.0.11
  kafka1:
    image: wurstmeister/kafka
    depends_on:
      - zookeeper
    container_name: kafka1
    ports:
      - 9092:9092
    environment:
      KAFKA_ADVERTISED_HOST_NAME: localhost
      #KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka1:9092
      #KAFKA_LISTENERS: PLAINTEXT://kafka1:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_BROKER_ID: 1
    volumes:
      - /Users/xushuainan/docker_kafka/data/kafka1/data:/data
      - /Users/xushuainan/docker_kafka/data/kafka1/log:/datalog
      - /Users/xushuainan/docker_kafka/docker.sock:/var/run/docker.sock
    networks:
      extnetwork:
        ipv4_address: 172.19.0.12
  kafka2:
    image: wurstmeister/kafka
    depends_on:
      - zookeeper
    container_name: kafka2
    ports:
      - 9093:9093
    environment:
      KAFKA_ADVERTISED_HOST_NAME: localhost
      #KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafk
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要在Docker安装kafka-eagle和kafka,你可以按照以下步骤进行操作: 1. 首先,克隆kafka-eagle的GitHub仓库并进入该目录: ``` mkdir /opt/kafka & cd git clone https://github.com/nick-zh/docker-kafka-eagle.git cd docker-kafka-eagle ```\[1\] 2. 接下来,使用docker-compose来安装kafka-eagle和kafka。你可以在docker-compose.yml文件中配置kafkakafka-eagle的相关参数,然后运行以下命令启动容器: ``` docker-compose up -d ```\[2\] 3. 等待一段时间,容器将会启动并运行kafkakafka-eagle。 现在,你已经成功在Docker安装kafka-eagle和kafka。你可以通过访问kafka-eagle的Web界面来监控和管理kafka集群。请确保你已经按照上述步骤正确配置了docker-compose.yml文件中的参数。\[3\] #### 引用[.reference_title] - *1* *2* [利用docker安装kafkakafka-eagle](https://blog.csdn.net/weixin_43848469/article/details/124505415)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [(一)docker镜像制作案例——关于kafka-eagle-2.0.8(EFAK)版本的kafka管理工具实现镜像制作及发布](https://blog.csdn.net/yprufeng/article/details/121236167)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值