docker-compose 安装kafka集群

最新推荐文章于 2024-05-29 09:48:29 发布
最新推荐文章于 2024-05-29 09:48:29 发布
阅读量1k 收藏 3
点赞数
分类专栏： 运维工具 Docker 文章标签： docker kafka 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39787367/article/details/132187472
版权

点击关注《golang技术实验室》公众号****，将****获取更多干货

介绍

Kafka是一种高性能的分布式流处理平台，它的集群工作原理如下：

假设你是一个快递员，Kafka集群就是一个快递中转站。在这个中转站中，有很多个小窗口（Broker），每个窗口有一个工作人员（Broker）负责接收和分发快递。

    • 发送快递（Producer）：你的工作是将快递从不同的地方收集起来，然后送到中转站的一个窗口。你可以一次送多个快递，每个快递都有一个编号（消息的键），内容（消息的值）和地址（主题）。你将这些快递递给窗口工作人员。
    • 中转站（Broker）：窗口工作人员负责接收你送来的快递，并将它们存放在中转站中。这些快递被存放在不同的箱子中，每个箱子都有一个编号（分区）。中转站会确保快递的安全存储，并且可以将快递复制到其他窗口（副本）中，以防止数据丢失。
    • 消费快递（Consumer）：有些人（消费者）来到中转站，希望取走他们关心的快递。他们告诉窗口工作人员他们关心的快递的编号和地址，窗口工作人员会告诉他们快递在哪个箱子（分区）中，并将快递递给他们。消费者可以按照自己的节奏和需要来取走快递。
    • 管理和协调（ZooKeeper）：中转站还有一个管理员（ZooKeeper），负责监控中转站的状态，并管理分区和消费者的信息。管理员会确保每个窗口工作正常，箱子（分区）均匀分布，以及消费者获取快递的正确信息。总结起来，Kafka集群的工作原理就是：生产者将消息送到中转站的窗口，窗口工作人员将消息存放在不同的箱子（分区）中，消费者可以根据自己的需求取走他们关心的消息。管理员负责管理和协调整个中转站的运作。这样的设计使得Kafka集群具有高吞吐量、低延迟和高可靠性的特点，非常适合处理大规模的实时数据流。

部署

这边kafka集群基于docker部署，所以要先安装docker

IP角色备注
192.168.2.210kafka-01
192.168.2.211kafka-02
192.168.2.212kafka-03

安装docker-compose

curl -L "https://github.com/docker/compose/releases/download/1.25.4/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose    
chmod +x /usr/local/bin/docker-compose
docker-compose version   # 查看版本信

安装docker

yum -y install yum-utils
yum-config-manager \  --add-repo \  http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.rep
yum install docker-ce docker-ce-cli containerd.io
systemctl start docker
systemctl enable docker

安装zookeeper集群

在每台机器上安装一个zookeeper和一个kafka组成整体的集群。.

进入三台服务器，创建目录/data/local/zk，并创建zk.yml文件

mkdir -p /data/local/kafka/zk/data/ && chmod -R 777  /data/local/kafka/zk/data/
cd /data/local/kafka/zk
touch zk.yml

zk.yml是docker-compose的编排文件，三台服务器的zk.yml文件内容分别如下：

192.168.2.210中的zk.yml

version: '3.1'
services:
  zk1:
    image: 'zookeeper:3.7'
    restart: always
    hostname: zoo1
    container_name: zk1
    network_mode: host
    ports:
      - 2181:2181
      - 2888:2888
      - 3888:3888
    environment:
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=192.168.2.210:2888:3888;2181 server.2=192.168.2.211:2888:3888;2181 server.3=192.168.2.212:2888:3888;2181
    volumes:
      - /data/local/kafka/zk/data:/data

192.168.2.211中的zk.yml

version: '3.1'
services:
  zk2:
    image: 'zookeeper:3.7'
    restart: always
    hostname: zoo2
    container_name: zk2
    network_mode: host
    ports:
      - 2181:2181
      - 2888:2888
      - 3888:3888
    environment:
      ZOO_MY_ID: 2
      ZOO_SERVERS: server.1=192.168.2.210:2888:3888;2181 server.2=192.168.2.211:2888:3888;2181 server.3=192.168.2.212:2888:3888;2181
    volumes:
      - /data/local/kafka/zk/data:/data

192.168.2.212中的zk.yml

version: '3.1'
services:
  zk1:
    image: 'zookeeper:3.7'
    restart: always
    hostname: zoo3
    container_name: zk3
    network_mode: host
    ports:
      - 2181:2181
      - 2888:2888
      - 3888:3888
    environment:
      ZOO_MY_ID: 3
      ZOO_SERVERS: server.1=192.168.2.210:2888:3888;2181 server.2=192.168.2.211:2888:3888;2181 server.3=192.168.2.212:2888:3888;2181
    volumes:
      - /data/local/kafka/zk/data:/data

分别在三台机器的/data/local/zk目录下执行以下命令，开启zk集群

docker-compose -f zk.yml up -d

进入容器内部查看是否启动成功：

docker exec -it zk1 bash
zkServer.sh status

docker exec -it zk2 bash
zkServer.sh status

docker exec -it zk3 bash
zkServer.sh status

如果启动成功，可以看到如下内容：

图片

至此，一个部署在三台服务器上的3节点zookeeper集群就搭建成功了。

安装kafka集群

进入三台服务器，创建目录/data/local/kafka，并创建zk.yml文件

mkdir -p /data/local/kafka/kafka/data/ && chmod -R 777  /data/local/kafka/kafka/data/
cd /data/local/kafka/kafka
touch kafka.yml

kafka.yml是docker-compose的编排文件，三台服务器的kafka.yml文件内容分别如下：

192.168.2.210中的kafka.yml

version: '2'
services:
  k1:
    image: 'bitnami/kafka:3.2.0'
    restart: always
    container_name: k1
    network_mode: host
    ports:
      - 9092:9092
    environment:
      - KAFKA_CFG_ZOOKEEPER_CONNECT=192.168.2.210:2181,192.168.2.211:2181,192.168.2.212:2181
      - ALLOW_PLAINTEXT_LISTENER=yes
      - KAFKA_BROKER_ID=1
      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.2.210:9092
      - KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092
      - KAFKA_CFG_NUM_PARTITIONS=3
      - KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR=3
    volumes:
      - /data/local/kafka/kafka/data:/bitnami/kafka/data

192.168.2.211中的kafka.yml

version: '2'
services:
  k1:
    image: 'bitnami/kafka:3.2.0'
    restart: always
    container_name: k2
    network_mode: host
    ports:
      - 9092:9092
    environment:
      - KAFKA_CFG_ZOOKEEPER_CONNECT=192.168.2.210:2181,192.168.2.211:2181,192.168.2.212:2181
      - ALLOW_PLAINTEXT_LISTENER=yes
      - KAFKA_BROKER_ID=1
      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.2.211:9092
      - KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092
      - KAFKA_CFG_NUM_PARTITIONS=3
      - KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR=3
    volumes:
      - /data/local/kafka/kafka/data:/bitnami/kafka/data

192.168.2.212中的kafka.yml

version: '2'
services:
  k1:
    image: 'bitnami/kafka:3.2.0'
    restart: always
    container_name: k3
    network_mode: host
    ports:
      - 9092:9092
    environment:
      - KAFKA_CFG_ZOOKEEPER_CONNECT=192.168.2.210:2181,192.168.2.211:2181,192.168.2.212:2181
      - ALLOW_PLAINTEXT_LISTENER=yes
      - KAFKA_BROKER_ID=1
      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.2.212:9092
      - KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092
      - KAFKA_CFG_NUM_PARTITIONS=3
      - KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR=3
    volumes:
      - /data/local/kafka/kafka/data:/bitnami/kafka/data

分别在三台机器的/data/local/kafka目录下执行以下命令，开启kafka集群

docker-compose -f kafka.yml up -d

创建topic并验证消费者和生产者,进入192.168.2.210的kafka容器内部

docker exec -it k1 bash
cd /opt/bitnami/kafka/bin
./kafka-topics.sh --create --bootstrap-server 192.168.2.210:9092 --replication-factor 1 --partitions 3 --topic devops11

进入其他机器的kafka容器内部，查看是否存在刚创建的topic，如果存在则说明Kafka集群搭建成功。

docker exec -it k2 bash
kafka-topics.sh --list --bootstrap-server 192.168.2.211:9092
docker exec -it k3 bash
kafka-topics.sh --list --bootstrap-server 192.168.1.212:9092
a...Z
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
docker kafka集群安装部署
a60782885的博客
01-07 1202
安装包下载 http://kafka.apache.org/downloads.html 前置准备 jdk镜像 kafka安装包 解压 tar -zxvf kafka_2.10-0.8.2.1.tgz -C /usr/local mv kafka_2.10-0.8.2.1 kafka cd /usr/local/kafka/config 修改配置文件: cp
docker-kafka-cluster集群安装
02-22
本文将详细介绍如何使用Docker Compose来搭建一个Kafka集群，并解析Kafka的相关配置。 【描述】： 1、Kafka-Docker-Compose集群安装 Docker Compose是Docker官方提供的一种工具，用于定义和运行多容器的Docker...
docker-compose安装部署kafka
大新新大浩浩的博客
12-16 4528
docker-compose部署kafka
【云原生 | 60】Docker中通过docker-compose部署kafka集群
最新发布
小鹏linux的博客
05-29 1095
​进入eagle即可查看kafka状态http://127.0.0.1:8048/ 用户名密码是admin/123456
【中间件】通过 docker-compose 快速部署 Kafka 保姆级教程
匠人精神，持之以恒！
05-21 2045
Kafka是由Apache基金会开发的分布式流处理平台，采用发布-订阅模式，支持高吞吐量、低延迟的数据传输。主要用于处理实时数据管道、数据存储和数据分析等大数据应用场景。Kafka采用高效的数据压缩算法，可以在集群中存储大量的数据，并通过分区机制来实现数据的高可靠性和可扩展性。数据管道：在数据采集和分发过程中构建可扩展的流式数据管道，用于实时数据处理和分析。例如，数据收集、日志聚合、网络追踪、用户活动跟踪等。数据存储。
通过 docker-compose 部署 Kafka
ststcheung的博客
09-28 2310
在 Kafka 中，由于消息的生产和消费速度可能不一致，导致消息会积压在 Kafka 的分区中，如果这些积压的消息处理不及时，会导致 Kafka 系统的性能下降和可用性降低等问题。可以通过 Kafka 的 offset 操作，重置消费 offset，跳过已经处理过的消息，减少数据积压的问题。：在消费 Kafka 消息时，可以额外执行一些消息清洗处理操作，将无用的数据过滤出去，或者将数据进行清理和格式化处理，减少中间处理环节，提高数据消费的效率和可用性。消费组在 Kafka 消息队列中起到了至关重要的作用。
docker-compose部署kafka集群
修理男爵的博客
07-31 7456
本文简单介绍下如何通过docker-compose部署kafka集群。 前提准备 需要提前安装好 docker 和 docker-compose 下载 kafka 镜像 # 查找 kafka 镜像 docker search kafka # 下载 kafka 镜像中星星最多的那个镜像 docker pull wurstmeister/kafka wurstmeister/kafka 镜像的 github 地址：https://hub.docker.com/r/wurstmeister/kafk
docker-compose部署Kafka
编程侠
08-25 1805
在服务与服务的通信过程中，除了基本的http接口调用，还可以使用消息队列，比如RabbitMQ、RocketMQ及Kafka。今天介绍一下Kafa的搭建，依然还是使用docker-compose进行部署。说到Kafka，就不得不提到ZooKeeper，两者在很长一段时间都是配合使用，但随着kafka3.0的诞生，Kafka可以脱离ZooKeeper独自使用，那我们就从这两种方式进行分析。
bitnami版本的zookeeper和kafka的docker-compose配置
02-15
这个Docker Compose 文件定义了一个包含Zookeeper和三个Kafka节点的服务集群。通过指定镜像、端口映射、环境变量和依赖关系等配置，实现了Zookeeper和Kafka的快速部署和集成。同时，在定义了一个名为"mynetwork"的...
elk的docker-compose配置
12-17
1. **安装Docker和Docker Compose**：确保你已经在你的系统上安装了Docker和Docker Compose。这两个工具是运行容器化应用的基础。 2. **创建`docker-compose.yml`文件**：这个文件将定义我们的服务和它们之间的依赖...
kafka的PHP库(Composer).zip
07-11
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消费。<?php namespace Kafka; class Broker {     use SingletonTrait;     private $groupBrokerId = null;     private $topics = [];     private $brokers = [];     private $metaSockets = [];     private $dataSockets = [];     private $process;     private $socket;     private $config;     public function setProcess(callable $process)     {         $this->process = $process;     }
docker-compose部署zk+kafka+storm集群的实现
01-09
总结，这个配置实现了 ZooKeeper、Kafka、Storm 和 InfluxDB 的集群部署，利用 Docker Compose 提供了一种简化部署和管理的方式。通过这种方式，可以快速地搭建和扩展大数据处理环境，同时保持各个组件之间的通信和...
Kafka（一）使用Docker Compose安装单机Kafka+Kafka UI+Prometheus JMX Exporter
特别享受思考问题的过程
09-30 8399
这里我们的配置是选择的是KRaft，因为Kafka官方已经计划在Kafak中移除Zookeeper。对于UI配置项没什么特别要说的，这里只是提一下，注意这里的docker-compose.yml中environment的写法，和上面的Kafka镜像中environment的写法不同，这是两种不同的写法。> 文档网址 > Compose examples 下面可以找打很多Kafak ui的compose文件示例，不仅对UI的配置很有帮助，而且对刚入门Kafka的同学，也提供了非常好的示例，
docker-compose极速部署kafka3.2.0集群（含zookeeper集群）
成都_杨洋
02-16 4853
使用docker-compose极速部署kafka3.2.0，并开启JMX_PORT端口
云服务器使用docker-compose安装kafka
weixin_38884208的博客
09-12 2001
记录云服务器使用docker-compose安装kafka
[docker] docker-compose安装kafka集群
Be yourself.
02-13 1989
前言 之前有介绍docker-compose的网络模块和使用docker-compose安装zookeeper集群.([docker] docker-compose安装zookeeper集群) 在本章, 我将介绍如何使用上期的docker网络和安装好的zk集群, 创建属于自己的kafka集群. 基础依赖 docker & docker-compose zookeeper单节点 Or 集群 基本思路 思路1 由于Kafka集群, 没有官方的版本. 一般的博客, 根据考究, 一般是使用如下2个大
docker搭建kafka集群并测试完整版
yyjysh0216的博客
11-07 2413
关于如何在windows上搭建docker kafka集群虚拟环境
docker-compose kafka 用户认证
08-03
另外，如果需要在部署Kafka集群之前进行一些操作，可以参考引用[3]中提供的Docker-compose部署Kafka集群的示例。该示例包括了停止和删除容器、删除镜像、安装Docker和Docker-Compose等步骤。 总结起来，要在docker-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

a...Z

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值