kafka
文章平均质量分 93
kafka
fengnzx
这个作者很懒,什么都没留下…
展开
-
【kraft】kafka kraft模式安装官方文档
KRaft (aka KIP-500) mode Preview ReleaseIntroductionIt is now possible to run Apache Kafka without Apache ZooKeeper! We call this the Kafka Raft metadata mode, typically shortened to KRaft mode.KRaft is intended to be pronounced like craft (as in craft原创 2022-01-17 17:46:00 · 2300 阅读 · 0 评论 -
kafka的分区数设置
kafka的分区数设置转载自:https://my.oschina.net/u/3963558/blog/3069483假设对于单个partition,producer端的可达吞吐量为p,Consumer端的可达吞吐量为c,期望的目标吞吐量为t,那么集群所需要的partition数量至少为max(t/p,t/c)。在producer端,单个分区的吞吐量大小会受到批量大小、数据压缩方法、 确认类型(同步/异步)、复制因子等配置参数的影响。经过测试,在producer端,单个parti...转载 2020-06-03 19:03:23 · 1171 阅读 · 0 评论 -
SparkStreaming操作Kafka
转载自:https://www.cnblogs.com/seaspring/p/5920414.htmlKafka为一个分布式的消息队列,spark流操作kafka有两种方式:一种是利用接收器(receiver)和kafaka的高层API实现。一种是不利用接收器,直接用kafka底层的API来实现(spark1.3以后引入)。Receiver方式基于Receive...转载 2019-06-04 18:40:17 · 238 阅读 · 0 评论 -
sparkStreaming 消费 kafka 一直显示offset提交失败 Offsetcommit failed
sparkStreaming 消费Kafka,提交任务后 一直无法提交offset报错信息提示:增大session.timeout 或减小 max.poll.recordssession.timeout.ms :在使用Kafka的团队管理设施时,用于检测消费者失败的超时时间。消费者定期发送心跳来向经纪人表明其活跃度。如果代理在该会话超时到期之前没有收到心跳,那么代理将从该组中删除该...原创 2019-09-11 15:52:58 · 3569 阅读 · 1 评论