Kafka
IT_ZhiCunGaoYuan
不忘初心,继续前进 。功崇惟志,业广惟勤
展开
-
Kafka消费者平凡被踢出消费者组的问题排查
场景: consumer client 为 PHP 开发 producer client 为 java 通过kafka 监控发现 consumer 端频繁被踢出consumer group问题排查 : comsumer 处理任务过重 导致默认的参数配置不能满足consumer 参数 : max. poll. interval. ms 和 max.poll.records解决方案: 将 max.poll.records 参数调小 max.poll.interval.ms 参数调大...原创 2020-06-24 11:09:53 · 2859 阅读 · 0 评论 -
canal 订阅 mysql binlog
业务场景 :多系统之间 数据同步、共享、并根据mysql 事物 要求 kafka 消费者也具有事务特性解决方案:canal 订阅 mysql binlog 发送到kafka ,业务线充当消费者 去消费不同的数据遇到的问题canal 订阅binlog 时 生产到kafka 的数据是多个分区 导致 消费者处理的事务和mysql 不一致问题原因 kafka存在多个分区导致 mysql 一...原创 2020-04-03 16:12:10 · 366 阅读 · 4 评论 -
Kafka 集群调优
最经在项目中遇到数据同步的一些问题,打算使用Kafka 来完成各个系统之间数据的同步实现系统间的解耦,在我们CTO 的推荐下看了一本关于《实效的程序员》一本书 。里边有一个小tip 非常实用::Involve Your Audience任何集群的调优都要根据业务需求来制订:我们的需求是要保证数据的可用性(Availability)TPS :Latency:Per...原创 2019-05-14 10:20:10 · 442 阅读 · 0 评论