kafka
任错错
学无止境
展开
-
Kakfa 消费者重要配置
处理耗时较长时间的消息,只需要加大max.pollinterval.ms的值来增加轮询间隔时长。原创 2020-12-04 13:40:16 · 97 阅读 · 0 评论 -
Kafka实战中深入理解
生产者发布消息到分区的两种方式:1.通过随机方式将请求负载到不同的消息代理节点(分区partition)2.使用分区语义函数将相同键的所有消息发布到同一分区,对于分区语义,Kafka暴露了一个接口,允许用户指定消息的键如何参与分区。比如,我们可以将用户编号作为消息的键,因为对相同用户编号散列后的值是罔定的,所以对应的分区也是固定的。...原创 2020-11-27 13:53:42 · 589 阅读 · 0 评论 -
kafka实际生产问题
1.场景storm从kafka消费处理T+0的数据2.问题kafka出现数据延迟问题例如:在处理T+0的数据拓扑中出现了T-1的数据3.排查因为kafka数据出现了数据延迟积压问题原因:生产者吞吐量太高导致消费者数量太少4.解决根据估算增加消费者数量具体术语稍后补上...原创 2020-11-13 14:09:44 · 286 阅读 · 0 评论 -
项目经验之Kafka机器数量计算与如何选定分区数量
Kafka机器数量(经验公式)=2*(峰值生产速度*副本数/100)+1先要预估一天大概产生多少数据,然后用Kafka自带的生产压测(只测试Kafka的写入速度,保证数据不积压),计算出峰值生产速度。再根据设定的副本数,就能预估出需要部署Kafka的数量。比如我们采用压力测试测出写入的速度是10M/s一台,峰值的业务数据的速度是50M/s。副本数为2。Kafka机器数量=2*(50*2...原创 2020-04-16 17:28:01 · 2205 阅读 · 0 评论 -
kafka问题总结与优化
总结:kafka第一,怎么解决kafka日志文件占磁盘空间过大的问题 1)配置文件:producer.properties 参数: compression.codec://是否压缩,0代表不压缩,1代表用gzip压缩,2代表用snappy压缩 compressed.topics://如果要...原创 2019-06-27 17:03:17 · 1005 阅读 · 0 评论