![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
gaording
这个作者很懒,什么都没留下…
展开
-
kafka读书笔记-消费者-多线程实现及消费者参数配置
KafkaProducer是线程安全的,可以多线程共用一个实例,而KafkaConsumer是非线程安全的,这点我对比了下KafkaProducer和KafkaConsumer中的成员变量。KafkaConsumer非线程安全的原因应该在于下面这个成员变量:private boolean cachedSubscriptionHashAllFetchPositions;cachedSubscr...原创 2020-05-06 23:29:57 · 1036 阅读 · 1 评论 -
kafka读书笔记-消费者-指定位移消费seek与分区再均衡
消费者消费消息时会根据之前提交的消费位移offset去kafka拉取offset之后的消息进行消费。但是一些情况下消费者开始消费时会没有消费位移,比如一个新的消费组建立的时候,或者消费组内的一个新的消费者订阅了一个新的主题,或者__consumer_offsets主题中关于这个消费组的位移信息已经过期而被删除的时候。这时消费者开始消费的消费位移就由客户端参数auto.offset.reset来决定...原创 2020-05-04 16:14:41 · 691 阅读 · 0 评论 -
kafka读书笔记-消费者-offset同步提交与异步提交
消费位移(offset)是消费者消费消息时最需要关注的点了。对于kafka中的分区而言,每条消息都有一个唯一的offset,用来标示消息在分区中的位置。而对于消费者而言,offset是用来表示某个分区消费到的消息所在位置。消费者每次调用poll方法拉取消息时都会先提交上一次已经消费过的消费位移,并再次拉取消费位移之后的消息。同时为了保证重启消费者或者消费者上下线再均衡之后仍能做到继续拉取消费位移...原创 2020-05-03 23:47:02 · 1326 阅读 · 0 评论 -
kafka读书笔记-消费者-poll调用及返回
消费者订阅主题或者分区之后就会对主题和分区中的消息进行消费,Kafka中的消费是基于拉模式的,即客户端主动请求服务器拉取消息。与之对应的另一种常见消费模式是推模式,即服务端主动将消息推送给客户端。拉模式减少了服务端的压力,对于Kafka处理大数据量的时候能起到高效的作用。简单的消费者消费代码如下:while (true){ //拉取消息 ConsumerRecords<Stri...原创 2020-04-29 23:57:02 · 2876 阅读 · 0 评论 -
kafka读书笔记-消费者-消息组与消息订阅
生产者(Producer)是负责向kafka服务集群发送消息的,消费者(Consumer)则是从kafka集群拉取消息进行消费的。kafka中的消费者不是直接订阅kafka服务进行消费的,而是作为消费组(Consumer group)的一员消费消息的。消费者以消费组为单位订阅kafka指定主题(Topic)或者主题的特定分区(Partion),同一个消费组的消费者不会重复消息,假若一个组有A,B...原创 2020-04-25 21:45:54 · 952 阅读 · 0 评论 -
kafka笔记-生产者-2
上节是讲了kafka的生产者的使用方法。这节是了解下kafka生产者的整体脉络和记录下一些相关参数。KafkaProducer拦截器ProducerIntrceptors序列化器Serializer分区器Partitioner消息累加器RecordAccumulatorsender创建Request缓存至InFlightRequestsselector发送消息kafkaCluster上图便是消...原创 2020-04-24 21:03:06 · 133 阅读 · 0 评论 -
kafka读书笔记-生产者(Producer)-1
生产者(Producer)就是负责向kafka发送消息的应用程序。拿图书馆举例的话,不同的出版社(生产者producer)把图书(消息message)发送给图书馆(kafka服务),然后所有人(消费者)可以去指定图书馆浏览图书(poll拉取消息),浏览图书信息自己进行下一步归类总结之类(消费消息定制操作)。生产者对象构建时需要指定生产者连接kafka集群所需的至少一个broker地址,就是...原创 2020-04-23 23:18:43 · 190 阅读 · 0 评论 -
深入理解kafka读书笔记
最近在读的是深入理解kafka核心设计与实践原理。为了加深理解,巩固知识,便打算记录下读书总结日志。这本书总共分为12章。1:kafka的安装与配置及简单的使用demo,2:kafka生产者客户端讲解,3:kafka消费者客户端讲解,4:主题与分区的管理,5:日志存储相关的内容,6:kafka服务端的一些核心内容,7:kafka客户端相关的原理剖析,8:可靠性、一致性的原理分析,9:kafka相关...原创 2020-04-21 23:53:55 · 191 阅读 · 0 评论