原理+实践，Kafka MirrorMaker使用与性能调优全解析

最新推荐文章于 2024-06-14 10:03:57 发布
最新推荐文章于 2024-06-14 10:03:57 发布
阅读量1.3k 收藏
点赞数 1
文章标签： 大数据 scala java
原文链接：http://www.cnblogs.com/davidwang456/articles/8360067.html
版权

http://blog.csdn.net/zhanyuanlin/article/details/76695481

Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案。其实现原理，其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster，即普通的消息生产和消费。用户只要通过简单的consumer配置和producer配置，然后启动Mirror，就可以实现准实时的数据同步。

1. Kafka MirrorMaker基本特性

Kafka Mirror的基本特性有：

  1. 在Target Cluster没有对应的Topic的时候，Kafka MirrorMaker会自动为我们在Target Cluster上创建一个一模一样(Topic Name、分区数量、副本数量)一模一样的topic。如果Target Cluster存在相同的Topic则不进行创建，并且，MirrorMaker运行Source Cluster和Target Cluster的Topic的分区数量和副本数量不同。
  2. 同我们使用Kafka API创建KafkaConsumer一样，Kafka MirrorMaker允许我们指定多个Topic。比如，TopicA|TopicB|TopicC。在这里，|其实是正则匹配符，MirrorMaker也兼容使用逗号进行分隔。
  3. 多线程支持。MirrorMaker会在每一个线程上创建一个Consumer对象，如果性能允许，建议多创建一些线程
  4. 多进程任意横向扩展，前提是这些进程的consumerGroup相同。无论是多进程还是多线程，都是由Kafka ConsumerGroup的设计带来的任意横向扩展性，具体的分区分派，即具体的TopicPartition会分派给Group中的哪个Topic负责，是Kafka自动完成的，Consumer无需关心。 
    我们使用Kafka MirrorMaker完成远程的AWS(Source Cluster)上的Kafka信息同步到公司的计算集群(Target Cluster)。由于我们的大数据集群只有一个统一的出口IP，因此，Kafka MirrorMaker部署在本地(Target Cluster)，它负责从远程的Source Cluster上的AWS Kafka 上拉取数据，然后生产到本地的Kafka。

Kafka MirrorMaker的官方文档一直没有更新，因此新版Kafka为MirrorMaker增加的一些参数、特性等在文档上往往找不到，需要看Kafka MirrorMaker的源码。Kafka MirrorMaker的主类位于kafka.tools.MirrorMaker，尤其是一些参数的解析逻辑和主要的执行流程，会比较有助于我们理解和运维Kafka MirrorMaker。

2. 新旧Consumer API的使用问题

从Kafka 0.9版本开始引入了new consumer API。相比于普通的old consumer api，new Conumser API有以下主要改变：

  • 统一了旧版本的High-Level和Low-Level Consumer API；-
  • new consumer API消除了对zookeeper的依赖，修改了ConsumerGroup的管理等等协议
  • new Consumer API完全使用Java实现，不再依赖Scala环境
  • 更好了安全认证只在new consumer中实现，在old consumer中没有。

Kakfa MirrorMaker同时提供了对新旧版本的Consumer API的支持。 
默认是旧版API，当添加–new.consumer，MirrorMaker将使用新的Consumer进行消息消费：

// Create consumers
      val mirrorMakerConsumers = if (!useNewConsumer) {//如果用户没有配置使用new consumer，则使用旧的consumer
        val customRebalanceListener = { val customRebalanceListenerClass = options.valueOf(consumerRebalanceListenerOpt) if (customRebalanceListenerClass != null) { val rebalanceListenerArgs = options.valueOf(rebalanceListenerArgsOpt) if (rebalanceListenerArgs != null) { Some(CoreUtils.createObject[ConsumerRebalanceListener](customRebalanceListenerClass, rebalanceListenerArgs)) } else { Some(CoreUtils.createObject[ConsumerRebalanceListener](customRebalanceListenerClass)) } } else { None } } if (customRebalanceListener.exists(!_.isInstanceOf[ConsumerRebalanceListener])) throw new IllegalArgumentException("The rebalance listener should be an instance of kafka.consumer.ConsumerRebalanceListener") createOldConsumers(//创建旧的consumer numStreams, options.valueOf(consumerConfigOpt), customRebalanceListener, Option(options.valueOf(whitelistOpt)), Option(options.valueOf(blacklistOpt))) } else {//用户指定使用new consumer val customRebalanceListener = { val customRebalanceListenerClass = options.valueOf(consumerRebalanceListenerOpt) if (customRebalanceListenerClass != null) { val rebalanceListenerArgs = options.valueOf(rebalanceListenerArgsOpt) if (rebalanceListenerArgs != null) { Some(CoreUtils.createObject[org.apache.kafka.clients.consumer.ConsumerRebalanceListener](customRebalanceListenerClass, rebalanceListenerArgs)) } else { Some(CoreUtils.createObject[org.apache.kafka.clients.consumer.ConsumerRebalanceListener](customRebalanceListenerClass)) } } else { None } } if (customRebalanceListener.exists(!_.isInstanceOf[org.apache.kafka.clients.consumer.ConsumerRebalanceListener])) throw new IllegalArgumentException("The rebalance listener should be an instance of" + "org.apache.kafka.clients.consumer.ConsumerRebalanceListner") createNewConsumers(//创建new consumer numStreams, options.valueOf(consumerConfigOpt), customRebalanceListener, Option(options.valueOf(whitelistOpt))) }
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47

这是我启动Kakfa MirrorMaker 的命令：

nohup ./bin/kafka-mirror-maker.sh --new.consumer --consumer.config config/mirror-consumer.properties --num.streams 40 --producer.config config/mirror-producer.properties --whitelist 'ABTestMsg|AppColdStartMsg|BackPayMsg|WebMsg|GoldOpenMsg|BoCaiMsg' &
  • 1

mirror-consumer.properties配置文件如下：

#新版consumer摈弃了对zookeeper的依赖，使用bootstrap.servers告诉consumer kafka server的位置
bootstrap.servers=ip-188-33-33-31.eu-central-1.compute.internal:9092,ip-188-33-33-32.eu-central-1.compute.internal:9092,ip-188-33-33-33.eu-central-1.compute.internal:9092 #如果使用旧版Consumer，则使用zookeeper.connect #zookeeper.connect=ip-188-33-33-31.eu-central-1.compute.internal:2181,ip-188-33-33-32.eu-central-1.compute.internal:2181,ip-188-33-33-33.eu-central-1.compute.internal:2181 1.compute.internal:2181 #change the default 40000 to 50000 request.timeout.ms=50000 #hange default heartbeat interval from 3000 to 15000 heartbeat.interval.ms=30000 #change default session timeout from 30000 to 40000 session.timeout.ms=40000 #consumer group id group.id=africaBetMirrorGroupTest partition.assignment.strategy=org.apache.kafka.clients.consumer.RoundRobinAssignor #restrict the max poll records from 2147483647 to 200000 max.poll.records=20000 #set receive buffer from default 64kB to 512kb receive.buffer.bytes=524288 #set max amount of data per partition to override default 1048576 max.partition.fetch.bytes=5248576 #consumer timeout #consumer.timeout.ms=5000
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26

mirror-producer.properties的配置文件如下：

bootstrap.servers=10.120.241.146:9092,10.120.241.82:9092,10.120.241.110:9092 # name of the partitioner class for partitioning events; default partition spreads data randomly #partitioner.class= # specifies whether the messages are sent asynchronously (async) or synchronously (sync) producer.type=sync # specify the compression codec for all data generated: none, gzip, snappy, lz4. # the old config values work as well: 0, 1, 2, 3 for none, gzip, snappy, lz4, respectively compression.codec=none # message encoder serializer.class=kafka.serializer.DefaultEncoder
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

同时，我使用kafka-consumer-groups.sh循环监控消费延迟：

bin/kafka-consumer-groups.sh  --bootstrap-server ip-188-33-33-31.eu-central-1.compute.internal:9092,ip-188-33-33-32.eu-central-1.compute.internal:9092,ip-188-33-33-33.eu-central-1.compute.internal:9092 --describe --group africaBetMirrorGroupTest --new-consumer
  • 1

当我们使用new KafkaConsumer进行消息消费，要想通过kafka-consumer-groups.sh获取整个group的offset、lag延迟信息，也必须加上–new-consumer，告知kafka-consumer-groups.sh，这个group的消费者使用的是new kafka consumer，即group中所有consumer的信息保存在了Kafka上的一个名字叫做__consumer_offsets的特殊topic上，而不是保存在zookeeper上。我在使用kafka-consumer-groups.sh的时候就不知道还需要添加–new-consumer，结果我启动了MirrorMaker以后，感觉消息在消费，但是就是在zookeeper的/consumer/ids/上找不到group的任何信息。后来在stack overflow上问了别人才知道。

3. 负载不均衡原因诊断以及问题解决

在我的另外一篇博客《Kafka为Consumer分派分区：RangeAssignor和RoundRobinAssignor》中，介绍了Kafka内置的分区分派策略：RangeAssignor和RoundRobinAssignor。由于RangeAssignor是早期版本的Kafka的唯一的分区分派策略，因此，默认不配置的情况下，Kafka使用RangeAssignor进行分区分派，但是，在MirrorMaker的使用场景下，RoundRobinAssignor更有利于均匀的分区分派。甚至在KAFKA-3831中有人建议直接将MirrorMaker的默认分区分派策略改为RoundRobinAssignor。那么，它们到底有什么区别呢？我们先来看两种策略下的分区分派结果。在我的实验场景下，有6个topic：ABTestMsg|AppColdStartMsg|BackPayMsg|WebMsg|GoldOpenMsg|BoCaiMsg，每个topic有两个分区。由于MirrorMaker所在的服务器性能良好，我设置--num.streams 40，即单台MirrorMaker会用40个线程，创建40个独立的Consumer进行消息消费，两个MirrorMaker加起来80个线程，80个并行Consumer。由于总共只有6 * 2=12个TopicPartition，因此最多也只有12个Consumer会被分派到分区，其余Consumer空闲。 
我们来看基于RangeAssignor分派策略的kafka-consumer-groups.sh 的结果：

TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG        CONSUMER-ID HOST CLIENT-ID ABTestMsg 0 780000 820038 49938 africaBetMirrorGroupTest-4-cf330e66-1319-4925-9605-46545df13453/114.113.198.126 africaBetMirrorGroupTest-0 ABTestMsg 1 774988 820038 55000 africaBetMirrorGroupTest-19-c77523e7-7b87-472b-9a26-cd902888944d/114.113.198.126 africaBetMirrorGroupTest-1 AppColdStartMsg 0 774000 820039 55938 africaBetMirrorGroupTest-19-674d8ad4-39d2-40cc-ae97-f4be9c1bb154/114.113.198.126 africaBetMirrorGroupTest-0 AppColdStartMsg 1 774100 820045 56038 africaBetMirrorGroupTest-15-91c67bf8-0c1c-42ac-97f0-5369794c2d1b/114.113.198.126 africaBetMirrorGroupTest-1 BackPayMsg 0 780000 820038 49938 africaBetMirrorGroupTest-4-cf330e66-1319-4925-9605-46545df13453/114.113.198.126 africaBetMirrorGroupTest-0 BackPayMsg 1 774988 820038 55000 africaBetMirrorGroupTest-19-c77523e7-7b87-472b-9a26-cd902888944d/114.113.198.126 africaBetMirrorGroupTest-1 WebMsg 0 774000 820039 55938 africaBetMirrorGroupTest-19-674d8ad4-39d2-40cc-ae97-f4be9c1bb154/114.113.198.126 africaBetMirrorGroupTest-0 WebMsg 1 774100 820045 56038 africaBetMirrorGroupTest-15-91c67bf8-0c1c-42ac-97f0-5369794c2d1b/114.113.198.126 africaBetMirrorGroupTest-1 GoldOpenMsg 0 780000 820038 49938 africaBetMirrorGroupTest-4-cf330e66-1319-4925-9605-46545df13453/114.113.198.126 africaBetMirrorGroupTest-0 GoldOpenMsg 1 774988 820038 55000 africaBetMirrorGroupTest-19-c77523e7-7b87-472b-9a26-cd902888944d/114.113.198.126 africaBetMirrorGroupTest-1 BoCaiMsg 0 774000 820039 55938 africaBetMirrorGroupTest-19-674d8ad4-39d2-40cc-ae97-f4be9c1bb154/114.113.198.126 africaBetMirrorGroupTest-0 BoCaiMsg 1 774100 820045 56038 africaBetMirrorGroupTest-15-91c67bf8-0c1c-42ac-97f0-5369794c2d1b/114.113.198.126 africaBetMirrorGroupTest-1 - - - - - africaBetMirrorGroupTest-

转载于:https://www.cnblogs.com/davidwang456/articles/8360067.html

aebdm757009
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kafka跨集群迁移方案MirrorMaker
qq_40454655的博客
04-09 952
原理 MirrorMaker 是Kafka 官方提供的跨数据中心的流数据同步方案。 原理：通过从Source Cluster消费消息然后把消息生产到Target Cluster。 操作：用户只要通过简单的consumer配置和producer配置，然后启动Mirror，就可以实现准实时的数据同步。 实现步骤： 环境：(单机测试) Source A机器： IP 111...
Kafka跨集群迁移方案MirrorMaker原理、使用以及性能调优实践
微信公众号：大数据从业者
09-11 538
序言Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案。其实现原理，其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster，即普通的消息生产和消费。用户只要通过简单的consumer配置和producer配置，然后启动Mirror，就可以实现准实时的数据同步。 1. Kafka MirrorMaker基本特性Kafka M...
Kafka跨集群数据镜像解决方案MirrorMaker及其替代工具
最新发布
qq_42773076的博客
06-14 669
本文介绍了Apache Kafka社区提供的跨集群数据镜像工具MirrorMaker，分析了其优缺点，并简要介绍了LinkedIn和Confluent公司针对MirrorMaker的不足所开发的替代工具。MirrorMaker是Apache Kafka社区推出的一款跨集群数据镜像解决方案。它主要用于实现Kafka消息实时从一个集群同步复制或镜像到另一个集群。在实际应用中，MirrorMaker可应用于数据备份、主备集群等多种场景。
Kakfa 跨数据中心复制方案：MirrorMake
张云飞Vir的专栏
12-06 213
Kakfa MirrorMaker 是Kafka 官方提供的跨数据中心的流数据同步方案。其实现原理，其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster，即普通的消息生产和消费。用户只要通过简单的consumer配置和producer配置，然后启动Mirror，就可以实现准实时的数据同步 背景 Kakfa MirrorMaker是Kafka 官方提供的...
Kafka跨集群同步工具-MirrorMaker2.0详解
kafka_zsxq的博客
12-17 7635
【背景】 最近发现不少文章提到log4j的远程代码执行漏洞会影响Kafka，在此向大家说明Kafka采用的版本是log4j 1.2.17且不受此事件影响。 【详情】 打开GitHub - apache/kafka: Mirror of Apache Kafka默认主分支，直接查看gradle目录下的dependencies.gradle文件 搜索log4j就可以发现使用的是1.2.17版本而不是受影响版本log4j2.x版本。 特别说明Kafka3.2.0之后社区将会使用log4j.
docker-kafka-mirrormaker:运行 Kafka 的 MirrorMaker 的 Docker 容器
05-31
Docker Kafka MirrorMaker 运行 Kafka 的 MirrorMaker 的 Docker 容器。 卡夫卡版本：0.8.2.1 用法 ： 设置镜像很容易 - 只需在启动目标集群后启动镜像制作程序。 镜像制造商至少需要一个或多个消费者配置、一个...
mirrormaker-docker:用于 apache kafka mirrormaker 的 Docker
06-24
Apache kafka mirrormaker 的 Docker 设置 要求 码头工人 docker-enter（使用$> docker run --rm -v /usr/local/bin:/target jpetazzo/nsenter ） 图 设置 修改KAFKA_ADVERTISED_HOST_NAME中的所有KAFKA_...
kafka配置调优实践
11-12
Kafka 配置调优实践是指通过调整 Kafka 集群的参数配置来提高其吞吐性能。下面是 Kafka 配置调优实践的知识点总结： 一、存储优化 * 数据目录优先存储到 XFS 文件系统或者 EXT4，避免使用 EXT3。 * 在挂载块设备时...
kafka原理解析与实践
05-08
### Kafka核心原理与实战 #### 一、Kafka简介与特点 Kafka是一款开源的分布式消息系统，由LinkedIn开发并在2011年开源，现在是Apache顶级项目。其主要设计目的是提供一种高吞吐量的实时消息处理系统，同时支持离线...
Kafka核心设计与实践原理.zip
07-22
《深入理解Kafka：核心设计与实践原理》从Kafka的基础...《深入理解Kafka：核心设计与实践原理》主要阐述了Kafka中生产者客户端、消费者客户端、主题与分区、日志存储、原理解析、监控管理、应用扩展及流式计算等内容
mirrormaker_topic_rename:MirrorMaker的消息处理程序实现，可在镜像过程中更改目标主题名称
05-27
MirrorMaker的消息处理程序可更改主题名称 MirrorMaker是事实上的标准工具，用于在不同群集之间镜像Kafka主题。 默认情况下，群集之间的主题名称始终保持相同，但是在某些情况下，有必要在镜像过程中更改主题名称。 该存储库显示了如何通过实现自定义MessageHandler并将其与MirrorMaker结合使用来轻松实现。 这项工作基于Gwen Shapiras示例存储库中的，因此大部分功劳归功于她。 设置 要将代码与MirrorMaker一起使用，只需从此存储库中构建jar，然后将其放在将要运行MirrorMaker的计算机上即可。 用法 在启动MirrorMaker之前，您需要在您的类路径中包含jar文件： export CLASSPATH=/home/sliebau/mmchangetopic-1.0-SNAPSHOT.jar 完成此操作后，您可以使用常规配置
mirror-maker-mesos
05-12
Mesos上的Mirror Maker Mirror Maker是一个Kafka实用程序，用于保留现有Kafka集群的副本。 Mesos上的Mirror Maker（以下称MMM）是包裹MM工具的Mesos框架。 建造 假设$ WORKING_DIR是您的工作目录。 要构建胖子： # cd $WORKING_DIR && git clone https://github.com/stealthly/mirror-maker-mesos.git # (Checkout the needed branch or stay on master) # cd mirror-maker-mesos && ./gradlew jar 环境配置 在运行MMM之前，设置libmesos的位置： # export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/lib
Kubernetes Kafka 系列｜MirrorMaker 2 同步数据
weixin_48711696的博客
04-18 898
MirrorMaker 2（简称MM2）是Apache Kafka的一个工具，主要用于跨Kafka集群的数据复制和同步。相比早期的MirrorMaker 1（简称MM1），MirrorMaker 2在设计和功能上有了显著的提升，能够更好地适应生产环境的需求。首先，MM2采用了并行复制的方式，能够实现高吞吐量的数据复制和同步，使得在大数据场景下也能保持高效性能。这使得MM2成为数据备份、灾难恢复、数据分析和实时处理等多种应用场景下的理想选择。其次，MM2在数据同步方面具有很高的灵活性。
Kafka中使用自带镜像迁移工具（Mirror Maker)进行数据迁移
weixin_43724790的博客
03-24 6736
Kafka中使用自带镜像迁移工具（Mirror Maker)进行数据迁移 简述：MirrorMaker为Kafka自带的数据迁移工具，可以利用此种方式直接进行kafka集群之间的数据迁移；减少中间组件的使用。（例如通过Flink以Kafka为Source，并且以Kafka作为Sink进行数据传输，当然是基于不对数据进行任何操作的前提下） 原理：通过Consumer从旧的Kafka集群中消费数据，然后通过Producer将数据生产在目标kafka集群中，实现数据同步备份；如图所示： 如上图所示：使用
kafka数据同步/镜像工具 kafka mirror maker
TURING.DT
09-05 2912
默认安装kafka后有个Kafka MirrorMaker服务，无法启动。 2016-08-05 15:20:50,333 INFO kafka.tools.MirrorMaker$: Starting mirror maker 2016-08-05 15:20:50,356 ERROR kafka.tools.MirrorMaker$: Exception when starting
Kafka MirrorMaker
weixin_34391854的博客
04-28 150
2019独角兽企业重金招聘Python工程师标准>>> ...
【Kafka】Kafka 镜像 Kafka mirroring (MirrorMaker)
九师兄
03-27 2907
1.概述 Kafka的镜像特性使得维护一个现有Kafka集群的副本成为可能。下图展示了如何使用MirrorMaker工具将一个源Kafka集群镜像到一个目标(镜像)Kafka集群。该工具使用一个Kafka消费者来消费来自源集群的消息，并使用一个嵌入式的Kafka生产者将这些消息重新发布到本地(目标)集群。 也有关于镜像制造者的文档 文档 2.如何设置镜子 设置镜像很简单——在启动目标集群后，只需启动镜像制造者进程。至少，镜像制造者有一个或多个消费者配置，一个生产者配置和一个白名单或黑名单。你需要将消费者.
生产测试kafkaMirrorMaker同步效率
qq_44912070的博客
04-30 719
生产测试kafkaMirrorMaker同步效率 背景：由于需要跨机房迁移kafka集群，进行数据同步的效率测试 kafka版本 源端和目的端同为0.9版本kafka 环境准备 目的端搭建测试kafka单节点一台 机器配置信息：CPU=8；内存=15G MIRRORMAKER消费者参数配置 vi mirror-consumer.properties zookeeper.connect=...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值