一、发送流程

二、生产者如何提高吞吐量
buffer.memory :RecordAccumulator 缓冲区大小,默认32m
batch.size: 缓冲区一批数据最大值,默认16k。适当增加该值,可以提高吞吐量,但是如果该值设置太大,会导致数据传输延迟增加。
Liger.ms :如果数据迟迟未达到batch.size,sender等待linger.time之后就会发送数据,单位ms,默认值数0ms,表示没有延迟。生产环境建议该值大小为5-100ms之间
compression.type:生产者发送的所有数据压缩方式,默认数none,也就是不压缩。支持压缩类型:none、gzip、snappy、lz4和zstd。
三、数据可靠性
1)acks:
0:生产者发送过来的数据,不需要等数据落盘后应答
1:生产者发送过来的数据,Leader收到后应答
-1:(all):生产者发送过来的数据,Leader和Isa队列里
面的所有节点收齐数据后应答,-1和all等价
2)至少一次:
至少一次(At Least Once)=ACK级别设置为-1 +分区副

最低0.47元/天 解锁文章
292

被折叠的 条评论
为什么被折叠?



