![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 66
深耕云原生
这个作者很懒,什么都没留下…
展开
-
Kubernetes Kafka 系列|MirrorMaker 2 同步数据
MirrorMaker 2(简称MM2)是Apache Kafka的一个工具,主要用于跨Kafka集群的数据复制和同步。相比早期的MirrorMaker 1(简称MM1),MirrorMaker 2在设计和功能上有了显著的提升,能够更好地适应生产环境的需求。首先,MM2采用了并行复制的方式,能够实现高吞吐量的数据复制和同步,使得在大数据场景下也能保持高效性能。这使得MM2成为数据备份、灾难恢复、数据分析和实时处理等多种应用场景下的理想选择。其次,MM2在数据同步方面具有很高的灵活性。原创 2024-04-18 20:55:37 · 768 阅读 · 1 评论 -
Kubernetes kafka系列 | Strimzi 部署kafka-bridge
一、kafka bridge 介绍Kafka Bridge 是 Apache Kafka 生态系统中的一个工具或组件,用于实现 Kafka 与其他系统或协议之间的通信或集成。Kafka 本身是一个分布式事件流平台,广泛用于构建实时数据流水线和流式应用程序。然而,并非所有系统或应用程序都可能与 Kafka 的协议兼容或直接交互。Kafka Bridge 充当中介或适配器,允许非 Kafka 应用程序与 Kafka 集群进行通信。原创 2024-04-01 23:57:25 · 770 阅读 · 0 评论 -
Kubernetes kafka系列 | Strimzi 快速部署kafka集群 (可外部通信)
Strimzi 是一个用于 Apache Kafka 在 Kubernetes 上部署和管理的开源项目。它提供了一组 Kubernetes 自定义资源定义(Custom Resource Definitions,CRDs)、控制器和操作符,使得在 Kubernetes 环境中轻松地部署、管理和操作 Kafka 集群成为可能。Strimzi 项目旨在简化 Kafka 在 Kubernetes 上的部署和运维,同时利用 Kubernetes 的优势,如弹性、可扩展性和自动化。原创 2024-03-23 22:03:15 · 996 阅读 · 1 评论 -
Kubernetes kafka系列 | k8s部署kafka+zookeepe集群(可外部通信)| kafka docekr镜像制作-v3.5.2
Kafka 通过 ZooKeeper 管理集群配置、选举 Leader,并在 Consumer Group 发生变化时进行 Rebalance(即消费者负载均衡)。Producer 使用 Push(推)模式将消息发布到 Broker,Consumer 使用 Pull(拉)模式从 Broker 订阅并消费消息。典型的 Kafka 体系架构包括若干 Producer(消息生产者),若干 Broker(作为 Kafka 节点的服务器),若干 Consumer (Group),以及一个 ZooKeeper 集群。原创 2024-03-13 11:45:27 · 1230 阅读 · 0 评论 -
Kubernetes kafka系列 | k8s部署kafka+zookeepe集群(可外部通信)
【代码】Kubernetes kafka系列 | k8s部署kafka+zookeepe集群(可外部通信)原创 2024-03-13 09:22:49 · 610 阅读 · 0 评论 -
Kubernetes kafka系列 | k8s部署kafka+zookeepe集群
Kafka简介: Apache Kafka 是一个开源的分布式流处理平台和消息队列系统。它最初由LinkedIn开发,并于2011年成为Apache软件基金会的顶级项目。特点:高吞吐量: Kafka 能够处理大规模的消息流,并具有很高的吞吐量。持久性: 它将消息持久化到磁盘上,因此即使消费者不在线,也能保证消息不会丢失。可伸缩性: Kafka 可以很容易地水平扩展以处理大量数据。实时性: Kafka 可以提供几乎实时的消息传递,适用于大多数实时数据处理需求。原创 2024-03-13 09:21:40 · 1543 阅读 · 0 评论 -
Error: INSTALLATION FAILED: execution error at (kafka/templates/NOTES.txt:333:4):kafka: Kraft mode
新版kafka新增了一个kraft模式,他与zookeeper是冲突的,不能同时使用,所以如果使用指定的zookeeper,kraft模式要关闭。修改kafka的配置文件“value.yaml”,将 kraft.enable 的值改为false。原创 2024-03-04 23:20:24 · 419 阅读 · 0 评论