大数据-kafka学习(二)——生产者

一、发送流程

二、生产者如何提高吞吐量

buffer.memory :RecordAccumulator  缓冲区大小,默认32m

batch.size: 缓冲区一批数据最大值,默认16k。适当增加该值,可以提高吞吐量,但是如果该值设置太大,会导致数据传输延迟增加。

Liger.ms :如果数据迟迟未达到batch.size,sender等待linger.time之后就会发送数据,单位ms,默认值数0ms,表示没有延迟。生产环境建议该值大小为5-100ms之间

compression.type:生产者发送的所有数据压缩方式,默认数none,也就是不压缩。支持压缩类型:none、gzip、snappy、lz4和zstd。

三、数据可靠性 

1)acks:

0:生产者发送过来的数据,不需要等数据落盘后应答

1:生产者发送过来的数据,Leader收到后应答

-1:(all):生产者发送过来的数据,Leader和Isa队列里

面的所有节点收齐数据后应答,-1和all等价

2)至少一次:

至少一次(At Least Once)=ACK级别设置为-1 +分区副

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

机智兵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值