![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 63
battybaby
这个作者很懒,什么都没留下…
展开
-
kafka 重分布相关
这里写自定义目录标题kafka 重分布相关重分布注意点实现方案方案二实施步骤插入链接与图片kafka 重分布相关最近集群中有三个节点需要替换为新节点,为了不影响上下游,考虑在不改变topic名字情况下做重分布。重分布注意点reassignment是非常消耗资源的,所以,要么在off-peak hours做,要么在运行kafka-reassign-partitions的时候加上参数–throttle做一下限制。同时,我们建议分批做,不要一个reassignment包含大量topic。在运行k原创 2022-04-07 10:32:55 · 341 阅读 · 0 评论 -
kafka相关参数调优
1. 消息大小限制调整message.max.bytes (broker配置)max.message.bytes (topic配置)可以在创建topic的时候增加这个配置:> bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic my-topic --partitions 1 \--replication-factor 1 --config max.message.bytes=64000或者在现有的t原创 2022-02-24 14:53:55 · 1381 阅读 · 0 评论 -
Replica.fetch.max.bytes参数
Brokers会为每个分区分配replica.fetch.max.bytes参数指定的内存空间,假设replica.fetch.max.bytes=1M,且有1000个分区,则需要差不多1G的内存,确保 分区数*最大的消息不会超过服务器的内存,否则会报OOM错误。...原创 2022-02-21 16:47:46 · 1038 阅读 · 0 评论 -
kafka集群副本同步问题排查
kafka失效副本是什么,具有哪些应对措施,在某节点故障情况下kafka集群副本状态监控情况,如何确认集群副本已恢复正常,故障期间会对下游消费有什么影响原创 2022-01-05 11:13:15 · 2488 阅读 · 0 评论 -
发送kafka报错:buffered messsge send to kafka err:Message size TooLarge
程序报错如下:解决方案:调整kafka对单条消息的大小限制:message.max.bytes从默认1M调整为10M,10M是cdh建议的最大值了,调整过大会影响kafka的吞吐量,同时需要调整replica.fetch.max.bytes的值需要大于等于message.max.bytes,该参数为broker同步的消息大小限制,如果小于message.max.bytes可能会出现broker接收消息但是主副本无法同步从而造成数据丢失。(我们用着的cdh的管理在界面可以调整整个集群的默认参数,如原创 2020-09-30 15:57:30 · 1795 阅读 · 0 评论