kafka
文章平均质量分 92
cuichunchi
java开发 后期 转向了大数据开发 有小伙伴想转大数据可以咨询我哟
展开
-
Kafka 问题以及调优参数集锦
producer类参数: 1、request.timeout.ms:配置控制客户端等待请求响应的最长时间。如果在超时时间过去之前未收到响应,则客户端将在必要时重新发送请求,或者在重试次数用尽时使请求失败。默认值:30000ms。 注:该参数适合集群资源不高,带宽较低、且生产者频繁发送消息到topic。超时可能报以下错误信息,我在压测过程中发现的错误信息,并改为了60s,集群3台带宽4M(理想吞吐512KB/s). Expiring 7 record(s) for test_producer-0: 60原创 2022-01-05 22:03:46 · 637 阅读 · 0 评论 -
kafka压测多维度分析实战
设置虚拟机不同的带宽来进行模拟压测 ---------kafka数据压测-------------------1、公司生产kafka集群硬盘:单台500G、共3台、日志保留7天。 1.1 版本:1.1.0 -----2、压测kafka。 2.1 使用kafka自带压测工具:bin/kafka-producer-perf-test.sh 命令参数解释: --num-records :总共发送多少条消息。 ...原创 2021-12-31 00:27:04 · 1141 阅读 · 0 评论