Kafka生产调优
![在这里插入图片描述](https://img-blog.csdnimg.cn/c81b5fb5cfdd473197a9d8c9ae9ff7bc.png)
1、生产者如何提高吞吐量
默认情况下,一次拉一个,来了就走
设置参数:
batch.size:批次大小,默认16k,可调整为32k
linger.ms:等待时间,修改为5-100ms
compression.type:压缩snappy
RecordAccumulator:缓冲区大小,修改为64M
2、Kafka硬件配置选择
1)场景说明
2)服务器台数选择
服务器台数 = 2 * (生产者峰值生产速率 * 副本数 / 100) + 1
3)磁盘选择
kafka顺序读写:选择机械硬盘(机械、固态均为顺序读写,且固态贵)
1 亿条数据 * 1k/条 = 100g
100g * 2个副本 * 3天 * 0 .7 = 1t
建议总磁盘大小 大于 1t
4)内存选择
kafka 内存 = 堆内存(kafka内部配置) + 页缓存(服务器内存)
5)cpu选择
6)网络选择
3、Kafka生产者
1)核心参数配置
2)数据可靠性
3)数据去重
幂等性
4)数据有序
分区内有序,分区间无序