apache kafka源码分析-Producer分析

转载 2015年11月17日 21:08:07
问题导读
1.Kafka提供了Producer类作为java producer的api,此类有几种发送方式?
2.总结调用producer.send方法包含哪些流程?
3.Producer难以理解的在什么地方?






producer的发送方式剖析
Kafka提供了Producer类作为java producer的api,该类有sync和async两种发送方式。
sync架构图


async架构图


调用流程如下:


代码流程如下:
Producer:当new Producer(new ProducerConfig()),其底层实现,实际会产生两个核心类的实例:Producer、DefaultEventHandler。在创建的同时,会默认new一个ProducerPool,即我们每new一个java的Producer类,就会有创建Producer、EventHandler和ProducerPool,ProducerPool为连接不同kafka broker的池,初始连接个数有broker.list参数决定。
调用producer.send方法流程:
当应用程序调用producer.send方法时,其内部其实调的是eventhandler.handle(message)方法,eventHandler会首先序列化该消息,
eventHandler.serialize(events)-->dispatchSerializedData()-->partitionAndCollate()-->send()-->SyncProducer.send()
调用逻辑解释:当客户端应用程序调用producer发送消息messages时(既可以发送单条消息,也可以发送List多条消息),调用eventhandler.serialize首先序列化所有消息,序列化操作用户可以自定义实现Encoder接口,下一步调用partitionAndCollate根据topics的messages进行分组操作,messages分配给dataPerBroker(多个不同的Broker的Map),根据不同Broker调用不同的SyncProducer.send批量发送消息数据,SyncProducer包装了nio网络操作信息。
Producer的sync与async发送消息处理,大家看以上架构图一目了然。
partitionAndCollate方法详细作用:获取所有partitions的leader所在leaderBrokerId(就是在该partiionid的leader分布在哪个broker上),
创建一个HashMap>>>,把messages按照brokerId分组组装数据,然后为SyncProducer分别发送消息作准备工作。

名称解释:partKey:分区关键字,当客户端应用程序实现Partitioner接口时,传入参数key为分区关键字,根据key和numPartitions,返回分区(partitions)索引。记住partitions分区索引是从0开始的。

Producer平滑扩容机制
如果开发过producer客户端代码,会知道metadata.broker.list参数,它的含义是kafak broker的ip和port列表,producer初始化时,就连接这几个broker,这时大家会有疑问,producer支持kafka cluster新增broker节点?它又没有监听zk broker节点或从zk中获取broker信息,答案是肯定的,producer可以支持平滑扩容broker,他是通过定时与现有的metadata.broker.list通信,获取新增broker信息,然后把新建的SyncProducer放入ProducerPool中。等待后续应用程序调用。
  1. DefaultEventHandler类中初始化实例化BrokerPartitionInfo类,然后定期brokerPartitionInfo.updateInfo方法,DefaultEventHandler部分代码如下:
  2.   def handle(events: Seq[KeyedMessage[K,V]]) {
  3.     ......
  4.     while (remainingRetries > 0 && outstandingProduceRequests.size > 0) {
  5.       topicMetadataToRefresh ++= outstandingProduceRequests.map(_.topic)
  6.       if (topicMetadataRefreshInterval >= 0 &&
  7.           SystemTime.milliseconds - lastTopicMetadataRefreshTime > topicMetadataRefreshInterval) {
  8.         Utils.swallowError(brokerPartitionInfo.updateInfo(topicMetadataToRefresh.toSet, correlationId.getAndIncrement))
  9.         sendPartitionPerTopicCache.clear()
  10.         topicMetadataToRefresh.clear
  11.         lastTopicMetadataRefreshTime = SystemTime.milliseconds
  12.       }
  13.       outstandingProduceRequests = dispatchSerializedData(outstandingProduceRequests)
  14.       if (outstandingProduceRequests.size > 0) {
  15.         info("Back off for %d ms before retrying send. Remaining retries = %d".format(config.retryBackoffMs, remainingRetries-1))
  16.         //休眠时间,多长时间刷新一次
  17.         Thread.sleep(config.retryBackoffMs)
  18.         // 生产者定期请求刷新最新topics的broker元数据信息
  19.         Utils.swallowError(brokerPartitionInfo.updateInfo(outstandingProduceRequests.map(_.topic).toSet, correlationId.getAndIncrement))
  20.         .....
  21.       }
  22.     }
  23.   }
复制代码


BrokerPartitionInfo的updateInfo方法代码如下:
  1. def updateInfo(topics: Set[String], correlationId: Int) {
  2.     var topicsMetadata: Seq[TopicMetadata] = Nil
  3.     //根据topics列表,meta.broker.list,其他配置参数,correlationId表示请求次数,一个计数器参数而已
  4.     //创建一个topicMetadataRequest,并随机的选取传入的broker信息中任何一个去取metadata,直到取到为止
  5.     val topicMetadataResponse = ClientUtils.fetchTopicMetadata(topics, brokers, producerConfig, correlationId)
  6.     topicsMetadata = topicMetadataResponse.topicsMetadata
  7.     // throw partition specific exception
  8.     topicsMetadata.foreach(tmd =>{
  9.       trace("Metadata for topic %s is %s".format(tmd.topic, tmd))
  10.       if(tmd.errorCode == ErrorMapping.NoError) {
  11.         topicPartitionInfo.put(tmd.topic, tmd)
  12.       } else
  13.         warn("Error while fetching metadata [%s] for topic [%s]: %s ".format(tmd, tmd.topic, ErrorMapping.exceptionFor(tmd.errorCode).getClass))
  14.       tmd.partitionsMetadata.foreach(pmd =>{
  15.         if (pmd.errorCode != ErrorMapping.NoError && pmd.errorCode == ErrorMapping.LeaderNotAvailableCode) {
  16.           warn("Error while fetching metadata %s for topic partition [%s,%d]: [%s]".format(pmd, tmd.topic, pmd.partitionId,
  17.             ErrorMapping.exceptionFor(pmd.errorCode).getClass))
  18.         } // any other error code (e.g. ReplicaNotAvailable) can be ignored since the producer does not need to access the replica and isr metadata
  19.       })
  20.     })
  21.     producerPool.updateProducer(topicsMetadata)
  22.   }
复制代码


ClientUtils.fetchTopicMetadata方法代码:
  1. def fetchTopicMetadata(topics: Set[String], brokers: Seq[Broker], producerConfig: ProducerConfig, correlationId: Int): TopicMetadataResponse = {
  2.     var fetchMetaDataSucceeded: Boolean = false
  3.     var i: Int = 0
  4.     val topicMetadataRequest = new TopicMetadataRequest(TopicMetadataRequest.CurrentVersion, correlationId, producerConfig.clientId, topics.toSeq)
  5.     var topicMetadataResponse: TopicMetadataResponse = null
  6.     var t: Throwable = null
  7.     val shuffledBrokers = Random.shuffle(brokers) //生成随机数
  8.     while(i 
  9. ProducerPool的updateProducer
  10. def updateProducer(topicMetadata: Seq[TopicMetadata]) {
  11.     val newBrokers = new collection.mutable.HashSet[Broker]
  12.     topicMetadata.foreach(tmd => {
  13.       tmd.partitionsMetadata.foreach(pmd => {
  14.         if(pmd.leader.isDefined)
  15.           newBrokers+=(pmd.leader.get)
  16.       })
  17.     })
  18.     lock synchronized {
  19.       newBrokers.foreach(b => {
  20.         if(syncProducers.contains(b.id)){
  21.           syncProducers(b.id).close()
  22.           syncProducers.put(b.id, ProducerPool.createSyncProducer(config, b))
  23.         } else
  24.           syncProducers.put(b.id, ProducerPool.createSyncProducer(config, b))
  25.       })
  26.     }
  27.   }
复制代码


当我们启动kafka broker后,并且大量producer和consumer时,经常会报如下异常信息。
  1. root@lizhitao:/opt/soft$ Closing socket connection to 192.168.11.166
复制代码



笔者也是经常很长时间看源码分析,才明白了为什么ProducerConfig配置信息里面并不要求使用者提供完整的kafka集群的broker信息,而是任选一个或几个即可。因为他会通过您选择的broker和topics信息而获取最新的所有的broker信息。
值得了解的是用于发送TopicMetadataRequest的SyncProducer虽然是用ProducerPool.createSyncProducer方法建出来的,但用完并不还回ProducerPool,而是直接Close.


重难点理解:
刷新metadata并不仅在第一次初始化时做。为了能适应kafka broker运行中因为各种原因挂掉、paritition改变等变化,
eventHandler会定期的再去刷新一次该metadata,刷新的间隔用参数topic.metadata.refresh.interval.ms定义,默认值是10分钟。
这里有三点需要强调:

客户端调用send, 才会新建SyncProducer,只有调用send才会去定期刷新metadata在每次取metadata时,kafka会新建一个SyncProducer去取metadata,逻辑处理完后再close。根据当前SyncProducer(一个Broker的连接)取得的最新的完整的metadata,刷新ProducerPool中到broker的连接.每10分钟的刷新会直接重新把到每个broker的socket连接重建,意味着在这之后的第一个请求会有几百毫秒的延迟。如果不想要该延迟,把topic.metadata.refresh.interval.ms值改为-1,这样只有在发送失败时,才会重新刷新。Kafka的集群中如果某个partition所在的broker挂了,可以检查错误后重启重新加入集群,手动做rebalance,producer的连接会再次断掉,直到rebalance完成,那么刷新后取到的连接着中就会有这个新加入的broker。


说明:每个SyncProducer实例化对象会建立一个socket连接


特别注意:
在ClientUtils.fetchTopicMetadata调用完成后,回到BrokerPartitionInfo.updateInfo继续执行,在其末尾,pool会根据上面取得的最新的metadata建立所有的SyncProducer,即Socket通道producerPool.updateProducer(topicsMetadata)

在ProducerPool中,SyncProducer的数目是由该topic的partition数目控制的,即每一个SyncProducer对应一个broker,内部封了一个到该broker的socket连接。每次刷新时,会把已存在SyncProducer给close掉,即关闭socket连接,然后新建SyncProducer,即新建socket连接,去覆盖老的。

如果不存在,则直接创建新的。

转载: http://www.aboutyun.com/thread-9938-1-1.html

kafka源码分析之producer

kafka源码分析之kafka producer发送数据源码分析
  • u014393917
  • u014393917
  • 2016年07月27日 10:39
  • 7817

Apache Kafka笔记(三):Producer的工作原理

Producer工作原理
  • baidu_29066791
  • baidu_29066791
  • 2017年01月24日 13:57
  • 2249

Kafka源码深度解析-序列4 -Producer -network层核心原理

在上一篇我们分析了Java NIO的原理和使用方式,本篇将进一步分析Kafka client是如何基于NIO构建自己的network层。network层的分层架构下图展示了从最上层的KafkaProd...
  • chunlongyu
  • chunlongyu
  • 2016年09月24日 17:19
  • 4163

kafka安装部署

kafka安装
  • wuxintdrh
  • wuxintdrh
  • 2017年03月16日 07:32
  • 828

Kafka Producer相关代码分析

Kafka Producer相关代码分析 标签(空格分隔): kafka Kafka Producer将用户的消息发送到Kafka集群(准确讲是发送到Broker)。本文将分析Producer...
  • jewes
  • jewes
  • 2015年01月17日 20:38
  • 6399

apache kafka源码分析走读-Producer分析

Kafka提供了Producer类作为java producer的api,该类有sync和async两种发送方式。
  • lizhitao
  • lizhitao
  • 2014年08月08日 14:51
  • 8527

Kafka学习整理七(producer和consumer编程实践)

Kafka学习整理七(producer和consumer编程实践)
  • LOUISLIAOXH
  • LOUISLIAOXH
  • 2016年06月03日 15:59
  • 28525

kafka进击之路(五) ——producer API开发

kafka 0.8 kafka producer API开发
  • qq_35799003
  • qq_35799003
  • 2016年08月18日 10:53
  • 3770

apache kafka系列之Producer处理逻辑

转载自同事写得一篇wiki博客 KafkaProducer产生数据发送给KafkaServer,具体的分发逻辑及负载均衡逻辑,全部由producer维护。 Kafka结构图 Kafk...
  • lizhitao
  • lizhitao
  • 2014年05月23日 11:42
  • 5351

apache kafka源码分析走读-Producer分析

2014-08-08作者:CSDN博客 来源:CSDN博客  apache kafka中国社区QQ群:162272557 producer的发送方式剖析 Kafka提供了...
  • doctor_who2004
  • doctor_who2004
  • 2014年10月27日 21:33
  • 1146
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:apache kafka源码分析-Producer分析
举报原因:
原因补充:

(最多只允许输入30个字)