![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 79
对于日常工作中使用心得以及收获的记录
G-S
这个作者很懒,什么都没留下…
展开
-
kafka 基础知识
kafka 的消息通过主题(类似文件夹)进行分类,消息以追加的方式写入分区(类似文件) 分区消息:由于一个主题一般包含几个分区,因为无法在主题范围保证消息的顺序,但可以保证消息在单个分区内的顺序 生产者:默认情况下生产者发送的消息会被均衡分布到所有分区,不过特殊情况下也会把消息写到特定分区 消费者:消费者通过检查消息的偏移量来区分已经读取过的消息,并将最后读取的偏移量保存在zk 或者kafka 上、每个分区只能被一个消费者使用,支持多个消费者互不影响的从一个单独的消息流上读取消息 broker :接原创 2021-11-29 14:29:31 · 1665 阅读 · 0 评论 -
kafka 调整offset
背景说明 kafka客户端程序异常导致消费积压,再恢复时遗留的历史消息太多,而追赶到最新消息需费时太久,无法贴合业务使用场景; 和业务部门协商确定: 可以丢弃中间未消费的数据,将指定offset(指定消费组消费topic)调整到最新值; 【kafka-消费堆积】 告警时间: 2020.04.02 10:52:22 主机名称: slhd1.op-paas.kafka001 [主题] : heartbeat_sync_pdd_game 消费组: heart-consumer 触发器: >20000原创 2021-11-29 14:43:13 · 4690 阅读 · 0 评论 -
kafka 扩容
现在在用kafka集群有3个节点,即zk1、zk2、zk3,现需要将broker节点扩容至4个,以提供更高的数据处理能力。 1.1 新扩容1个broker节点zk4 ,并部署kafka应用程序;我是虚拟机,全部在一台上跑的测试,只启用了一个zookeeper服务没启用zookeeper集群,但是和实际应用差不多。 cat ../config/server1.properties num.network.threads=3 num.io.threads=8 socket.send.buffer.byt原创 2021-11-29 14:50:28 · 3399 阅读 · 1 评论