Kafka（一）使用Docker Compose安装单机Kafka以及Kafka UI

已于 2024-04-16 10:08:27 修改
阅读量6.1k 收藏 14
点赞数 9
分类专栏： 消息队列 文章标签： kafka docker 大数据 消息队列 事件流
于 2023-09-30 14:43:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dghkgjlh/article/details/133418837
版权

文章目录

Kafka中涉及到的术语

对于Kafka中经常用到的术语，可参考confluent的官方文档，这里不再赘述。

Kafka镜像选择

镜像选择Docker Hub上使用最多的bitnami Kafka，主要注意的点是环境变量和Kafka配置的映射关系

Additionally, any environment variable beginning with KAFKA_CFG_ will be mapped to its corresponding Apache Kafka key. For example, use KAFKA_CFG_BACKGROUND_THREADS in order to set background.threads or KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE in order to configure auto.create.topics.enable

还有就是，当使用任何来自于bitnami的镜像，如何遇到了问题，想查看日志，可以将镜像的Debug日志打开，通过环境变量

BITNAMI_DEBUG=true

控制

由于Docker Hub的说明字数限制，可以在Github上查看完整文档

Kafka UI镜像选择

对于Kafka的UI工具，没有仔细调查，原因是在使用初期阶段，还不知道对于Kafka的监控和管理的痛点在哪，所以先用起来再说。

Kafka UI官方Github地址 > 文档网址 > Compose examples 下面可以找打很多Kafak ui的compose文件示例，不仅对UI的配置很有帮助，而且对刚入门Kafka的同学，也提供了非常好的示例，包括Kraft模式的Kafka集群等。

其他配置则阅读官方文档即可。

Docker Compose文件

version: "3"
services:
  kafka:
    image: 'bitnami/kafka:latest'
    container_name: kafka
    ports:
      - "9092:9092"
      - "9093:9093"
      - "9998:9998"
    volumes:
      - type: volume
        source: kafka_standalone_data
        target: /bitnami/kafka
        read_only: false
    environment:
      - BITNAMI_DEBUG=yes
      # 启用KRaft模式必须设置下面三个属性
      - KAFKA_CFG_NODE_ID=1
      - KAFKA_CFG_PROCESS_ROLES=broker,controller
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
      # broker id
      - KAFKA_BROKER_ID=1
      # listener的各种配置
      - KAFKA_CFG_LISTENERS=CONTROLLER://:9094,BROKER://:9092,EXTERNAL://:9093
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,BROKER:PLAINTEXT,EXTERNAL:PLAINTEXT
      # 注意EXTERNAL配置的是当前Docker所在的主机地址,BROKER可以使用Docker内部的网络地址即可
      - KAFKA_CFG_ADVERTISED_LISTENERS=BROKER://kafka:9092,EXTERNAL://192.168.0.101:9093
      # 内部各个broker之间通信用的listener
      - KAFKA_CFG_INTER_BROKER_LISTENER_NAME=BROKER
      # 用来进行选举的Controller服务器，如果有多个Controller则都需要写上，这里本机
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@127.0.0.1:9094
      - ALLOW_PLAINTEXT_LISTENER=yes
      # 开启JMX监控
      - JMX_PORT=9998
      - KAFKA_JMX_OPTS=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=kafka -Dcom.sun.management.jmxremote.rmi.port=9998
  kafka-ui:
    container_name: kafka-ui
    image: provectuslabs/kafka-ui:latest
    ports:
      - "9095:8080"
    depends_on:
      - kafka
    environment:
      KAFKA_CLUSTERS_0_NAME: kafka-stand-alone
      KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: kafka:9092
      KAFKA_CLUSTERS_0_METRICS_PORT: 9998
      SERVER_SERVLET_CONTEXT_PATH: /kafkaui
      AUTH_TYPE: "LOGIN_FORM"
      SPRING_SECURITY_USER_NAME: admin
      SPRING_SECURITY_USER_PASSWORD: kafkauipassword
      DYNAMIC_CONFIG_ENABLED: 'true'
volumes:
  kafka_standalone_data:
    driver: local

Kafka配置项说明

KRaft vs Zookeeper

这里我们的配置是选择的是KRaft，因为Kafka官方已经计划在Kafak中移除Zookeeper。至于为什么要移除？confluentinc官方写了很多文章，这里不再一一列举，在Google上一搜就一大堆

KRaft site:confluent.io

下面是几篇文章

和KRaft有关的配置

  • node.id

    The node ID associated with the roles this process is playing when process.roles is non-empty. This is required configuration when running in KRaft mode.

  • porcess.roles

    The roles that this process plays: ‘broker’, ‘controller’, or ‘broker,controller’ if it is both. This configuration is only applicable for clusters in KRaft (Kafka Raft) mode (instead of ZooKeeper). Leave this config undefined or empty for Zookeeper clusters

  • controller.listener.names

    A comma-separated list of the names of the listeners used by the controller. This is required if running in KRaft mode

关于Controller和Broker的概念解释

一句话解释：

Controller负责协调Broker（详细解释可见Kafak权威指南的第5章，该书可在Apache Kafak官网 > Get Started > Books 中找到免费下载）

To summarize, Kafka uses Zookeeper’s ephemeral node feature to elect a controller
and to notify the controller when nodes join and leave the cluster. The controller is
responsible for electing leaders among the partitions and replicas whenever it notices
nodes join and leave the cluster. The controller uses the epoch number to prevent a
“split brain” scenario where two nodes believe each is the current controller.

Broker负责处理生产者生产消息的请求、存储消息、消费者消费消息的请求。

A single Kafka server is called a broker. The broker receives messages from producers,
assigns offsets to them, and commits the messages to storage on disk. It also services
consumers, responding to fetch requests for partitions and responding with the mes‐
sages that have been committed to disk
来自Kafka权威指南第1章>Enter Kafka > Broker And Clusters

Listener的各种配置

当时看官方文档的时候，这部分一直被搞得晕头转向，直到看到这篇关于Kfaka的Listener文章，才彻底明白了各种listener，强烈推荐读一下这篇文章。

listener可分为3种：

  1. 用来选举Controller的listener
  2. kafka集群内部各broker节点通信的listener
  3. 外部客户端，例如Java Client连接Kafka

了解了3中controller，结合上面的这篇文章+Apache Kafka官方文档的配置说明，配置listener就变得很容易了。

Kafka UI配置项说明

注意UI配置中的METRICS_PORT要设置成Kafka配置中的JMX_PORT，至于为什么，了解JMX原理的同学应该都知道，不清楚JMX的可参考JMX快速入门。

稍微有心的同学，可能发现，在docker compose中要访问另外一个服务，需要使用container_service_host_name:port（Docker官方文档Networking in Compose部分），但是这里配置项中只配置了port，Kafka UI是如何拼接JMX的URL呢？我去看了一下它的源码，发现它是可以拿到host的，所以这里不用担心
在这里插入图片描述

对于其他UI配置项没什么特别要说的，这里只是提一下，注意这里的docker-compose.yml中environment的写法，和上面的Kafka镜像中environment的写法不同，这是两种不同的写法
详细文档见Docker Compose文档规范中environment章节
在这里插入图片描述

测试

使用上述docker-compose.yml文件，启动

docker-compose -f docker-compose.yml up -d

在本地浏览器打开

http://localhost:9095/kafkaui/auth

输入用户名、密码，进入UI界面
在这里插入图片描述

Kafka集群

本篇文章重点在于搭建单机版Kfaka环境，集群不在文章讨论范围之内，如果对集群配置感兴趣和有需要的同学，这里仅给出几个示例的Github仓库仅供参考，并且全部使用KRaft而不是Zookeeper

一个基本的高可用Kafka集群需要多少个节点?

我个人的理解，最小的集群应该是3个controller+3个broker, 为什么是3个broker呢？Kafka官方文档Replication一节 提到过

With this ISR model and f+1 replicas, a Kafka topic can tolerate f failures without losing committed messages

意思是，如果topic的复制因子replication factor是2（复制因子是包括leader的，见官方文档：The total number of replicas including the leader constitute the replication factor），那么在一个节点失败的情况下，Kafka还是可以正常工作的。这里Kafka采用的算法和ZooKeeper, Elasticsearch集群的算法是不一样的。如果换成ZK和ES，只有两个节点，这时ZK和ES是无法工作的。

The downside of majority vote is that it doesn’t take many failures to leave you with no electable leaders. To tolerate one failure requires three copies of the data, and to tolerate two failures requires five copies of the data. In our experience having only enough redundancy to tolerate a single failure is not enough for a practical system, but doing every write five times, with 5x the disk space requirements and 1/5th the throughput, is not very practical for large volume data problems. This is likely why quorum algorithms more commonly appear for shared cluster configuration such as ZooKeeper but are less common for primary data storage

那这么看来，Kafka集群其实只需要2个节点就可以了，为什么还是3个节点呢？带着这个疑问，我查了一下stackoverflow，还真有人问过这个问题，见in kafka ha why minimum number of brokers required are 3 and not 2

  • 如果复制因子是2，min.insync.replicas也是2，当有一个节点失败时，生产者无法完成写入
  • 如果复制因子是2，min.insync.replicas是1，当leader失败时，follower则可能没有改消息
  • 如果复制因子是3，min.insync.replicas是2，当有一个节点失败时，生产者还是可以正常写入
  • 如果复制因子是3，min.insync.replicas是2，当leader失败时，至少还有一个follower的消息时和leader同步的，所以这时可以完成leader的切换

Kafka集群示例配置

Kafka关于KRaft模式下Controller的部署建议

  1. 来自bitnami的Kafka集群示例，三个节点皆为controller和broker。
  2. 来自confluentic的Kafka集群配置，我个人倾向于这个配置，毕竟confluentic是Kafka商业化的公司，其创始人来自LinkedIn。这里是四个节点，一个controller和3个broker。
  3. 来自Github的Kafka-In-Box，使用4个节点。

Kafka vs RabbitMQ vs Pulsar性能对比

见confluent官方博文

JackSparrow414
关注
  • 9
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
详解使用docker搭建kafka环境
01-10
Requirements 最近学习了下kafka，为方便搭建环境，使用docker进行部署。 需要首先安装docker的环境。要求操作系统是linux的64位系统。 docker的安装(适于rpm/deb安装): curl -fsSL https://get.docker.com/ | sh docker-compose的安装: curl -L https://github.com/docker/compose/releases/download/1.7.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-com
Kafka.docker-compose.yml
08-27
Kafka&Kafka;-manager，Docker-compose脚本，使用之前需要手动配置文件中的zookeeper链接，使用之前需要先创建Docker网络： docker network create zoo_kafka。 Docker镜像使用的是：wurstmeister/kafka、sheepkiller/kafka-manager:latest
Docker搭建kafka
热门推荐
qq_31728357的博客
08-01 1万+
docker简易搭建kafka 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：想分析一下用户行为，一遍我能设计出更好的广告位，相对用户的搜索关键字尽心统计，分析出前卫的流行趋势，有些数据存数据库浪费，直接存硬盘操作效率又低。kafka在这样的场景下就是个不错的选择。 第一步 搭建zookeeper环境 在centos中，拉取zookeeper镜像，以及创建zookeeper容器: 1)docker pull wurstmeister/zookeeper 2)dock
docker安装kafka【手把手系列】
qq_58353992的博客
03-19 1445
Kafka是由Apache基金会开发的分布式流处理平台，采用发布-订阅模式，支持高吞吐量、低延迟的数据传输。主要用于处理实时数据管道、数据存储和数据分析等大数据应用场景。Kafka采用高效的数据压缩算法，可以在集群中存储大量的数据，并通过分区机制来实现数据的高可靠性和可扩展性。数据管道：在数据采集和分发过程中构建可扩展的流式数据管道，用于实时数据处理和分析。例如，数据收集、日志聚合、网络追踪、用户活动跟踪等。
docker-compose部署kafka单机和集群
岁月失语，惟石能言
01-03 1642
从 3.3 版本后，Kafka 引入了 KRaft 来替代 ZooKeeper，所以我们不必再部署 zk 了。选择集群切换 -> 新增集群，填好配置后，选择切换，就可以管理我们的 kafka 集群了。这里部署了 3 个 Broker，即 Kafka1、Kafka2 和 Kafka3。我们之后测试肯定用集群部署，就算是测试，也不用单机模式，单机就是玩具哈 = =以上两个部署 kafka 的 yaml 文件中，都设置了。所以我们上面加了权限后，就可以正常运行了。的 ip 地址为自己的。打开管理工具的运维界面。
【docker】docker安装带ui界面的kafka
qq_42987796的博客
03-27 2328
使用docker-compose 一键安装kafka和kafka-ui界面
docker安装kafka-ui
dghrty_show的博客
03-10 1336
使用docker run方式在kafka-ui中部署多个节点:添加-e即可，docker run的时候也是添加-e，且修改节点名字。拉起镜像:修改kafka服务环境即可，需要在root权限下执行安装。
基于docker搭建kafka服务器集群
无恋-zx的博客
11-15 381
参考链接 https://blog.csdn.net/satomic/article/details/79228125 https://blog.csdn.net/sinat_31908303/article/details/80447383 https://www.jianshu.com/p/72df5703b1cd 个人测试 docker_zookeeper_kafka_kafka-m...
docker-compose安装kafka
01-21
docker-compose安装kafka
docker-compose 安装kafka
weixin_32555599的博客
10-27 864
安装docker-compose sudo curl -L "https://get.daocloud.io/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose chmod +x/usr/local/bin/docker-compose 新建文件夹docker-kafka mkdir docker-kafka cd docker-ka
docker-compose docker 一次性安装打包 各个中间件 mysql zookeeper kafka redis
06-09
docker-compose docker 一次性安装打包 各个中间件 mysql zookeeper kafka redis elasticsearch elasticsearch6.8.8 dockerui 便于一次性打包各大组件，也便于后期维护和增加
bitnami版本的zookeeper和kafka的docker-compose配置
02-15
这个Docker Compose 文件定义了一个包含Zookeeper和三个Kafka节点的服务集群。通过指定镜像、端口映射、环境变量和依赖关系等配置，实现了Zookeeper和Kafka的快速部署和集成。同时，在定义了一个名为"mynetwork"的网络来连接这些服务，确保它们可以相互通信。整体而言，这个Docker Compose 文件提供了一个简单且可扩展的方式来搭建和管理Zookeeper和Kafka的集群环境。 对了，这个集群配置是支持外部访问的。
史上最轻便好用的kafka ui界面可视化图形界面工具
05-25
史上最轻便好用的kafka ui界面客户端工具，可以在生产消息、消费消息、管理topic、管理group;可以支持管理多个kafka集群；部署简便，可以一键启动，不需要配置数据库、不需要搭建web容器；支持zookeeper ui界面化操作;支持多环境管理；支持redis ui界面化操作;支持多环境管理；支持权限控制，可以自定义不同环境的新增、修改、删除权限；默认分配只读权限，避免用户的误操作
docker-compose 离线一键安装带密码的kafka 以及kafka-ui
01-06
使用docker离线安装 zookpeer，kafka，kafka-ui，资源包含镜像，docker-compose文件，以及一键启动脚本。
利用docker和docker-compose部署单机kafka
01-20
其中docker-compose不是必须的,单单使用docker也是可以的,这里主要介绍docker和docker-compose两种方式 docker部署 docker部署kafka非常简单，只需要两条命令即可完成kafka服务器的部署。 docker run -d --name ...
03 - 步骤 Kafka producer
最新发布
suweijie的博客
04-30 133
Kafka producer 步骤，用于将 Kettle 中经过处理或转换的数据发送到 Kafka 的主题中。
Kafka集群和kafka-manager安装
yinjl123的博客
04-27 388
Kafka集群依赖zookeeper集群。
Kafka 生产者应用解析
lIujunXHU的博客
04-26 1059
可以根据实际需要，自定义实现分区器。示例：自定义分区 发送过来的数据中如果包含 hello，就发往 0 号分区，不包含 hello，就发往 1 号分区。# 自定义分区 发送过来的数据中如果包含 hello，就发往 0 号分区，不包含 hello，就发往 1 号分区。""":function: 自定义分区:param topic: 写入数据所在的topic:param msg: 写入的数据:return:"""# 自定义分区器return 0else:return 1。
Kafka---总结篇
gochenguowei的博客
04-25 1445
Kafka的message是按topic分类存储的，topic中的数据又是按照一个一个的partition即分区存储到不同broker节点。确定好消息的topic+partition后，直接发送给对应leader副本所在的broker。LSO 的值等于事务中第一条消息的位置(firstUnstableOffset，如上图所示)，对已完成的事务而言，它的值同 HW 相同。其中轮询策略是默认的分区策略，而随机策略则是较老版本的分区策略，不过由于其分配的均衡性不如轮询策略，故而后来改成了轮询策略为默认策略。
KAFKA
06-01
指的是在空闲分区链表中找到最小的能够满足要求的空闲分区进行分Kafka是一种分布式流处理平台，它具有高吞吐量、可扩展性和容错性配。具体实现过程如下： ```c #include <stdlib.h> #include <stdio.h> // 内存块头等特点。它主要由三部分组成：生产者、消费者和消息传递系统。生产结构 typedef struct mem_block { int size; // 内存块大小 int used; // 是否被占用，1者可以将消息发送到Kafka集群，消费者可以从Kafka集群中读取消息。Kafka的消息表示已被占用，0表示空闲 struct mem_block *next; // 指向下一个内存块的指针传递系统是基于发布/订阅模式实现的，可以方便地支持多个消费者对同 } mem_block_t; // 空闲分区链表头结构 typedef struct free_block { int size; // 空闲一个主题进行订阅。同时，Kafka还提供了一系列的API和工具，方便开发人员进行消息处理和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值