kafka
文章平均质量分 88
主要介绍kafka的知识
长安不及十里
活到老,学到老,作为程序猿的基本修养,哈哈哈哈哈!
展开
-
kafka之消息消费者基本知识
文章目录消费者一 基本知识1.1 客户端开发1.2 重要参数1.3 消息的订阅1.4 消息的拉取二 原理解析2.1 反序列化2.2消费位移2.2.1 自动提交2.2.2 手动提交2.2.3 控制或关闭消费2.3.4 指定位移消费2.3 在均衡2.4 消费拦截器2.5 多线程消费者一 基本知识在Kafka的消费理念中还有一层消费组(Consumer Group)的概念,每个消费者都有一个对应的消费组。当消息发布到主题后,只会被投递给订阅它的每个消费组中的一个消费者。每个消费者只能消费所分配到的分区原创 2021-11-05 14:52:03 · 2829 阅读 · 1 评论 -
Kafka问题优化之消费重复问题
一 重复消费1.1 原因强行kill线程,导致消费后的数据,offset没有提交(消费系统宕机、重启等)网络波动,导致offset没提交当消费者消费的速度很慢的时候,可能在一个session周期内还未完成,导致心跳机制检测报告出问题消费后的数据,当offset还没有提交时,partition就断开连接最根本的原因是消费之后的offset未提交1.2 解决方法第一种思路是提高消费能力,提高单条消息的处理速度,例如对消息处理中比 较耗时的步骤可通过异步的方式进行处理、利用多线程处理等。在原创 2021-10-30 16:46:00 · 2523 阅读 · 5 评论 -
kafka之消息生产者基本知识
文章目录生产者一 消息提供者开发1.1 过程1.2 代码实现1.3 重点配置参数1.4 消息的发送二 原理解析2.1基本知识2.2 拦截器2.2.1 基本结构2.2.2 自定义拦截器2.3 序列化器2.3.1 基本方法2.3.2 自定义序列化器2.4 分区器2.4.1 基本方法2.4.2 自定义分区器2.5 消息累加器2.1 基本知识2.6 Sender线程生产者一 消息提供者开发1.1 过程1.2 代码实现/** * @Author shu * @Date: 2021/10/22/ 16:原创 2021-10-30 16:38:59 · 1631 阅读 · 2 评论 -
Kafaka基础快速入门
Kafaka基本入门文章目录Kafaka基本入门一 基本认识1.1 消息中间件(消息队列)1.2 常用消息中间件1.3 通信协议1.4 基本术语二 kafaka的基本介绍2.1 概述2.2 消息系统介绍2.3 点对点消息传递模式2.4 发布-订阅消息传递模式三 Kafka中的术语解释3.1 概述3.2 broker3.3 Topic3.4 Partition3.5 Producer3.6 Consumer3.7 Consumer Group3.8 Leader3.9 Follower四 Kafaka的安装原创 2021-10-29 14:26:06 · 21469 阅读 · 2 评论