![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 75
DreamBoy_W.W.Y
不愿做菜鸟的小鸟,不断学习,目标是成为老鸟。
展开
-
【kafka】---kafka生产者消息确认机制和发送方式
系统间通知要求是要保证消息不丢失,那么作为生产者怎样保证消息能安全的发送到kafka集群上。一、kafka消息确认机制侧重于消息到达kafka集群的情况。kafka有一个参数:“request.required.acks”。这个参数觉得了kafka消息确认机制。properties.put(“request.required.acks”, “1”);acks=0,Kafka Producer只要把消息发送出去,不管那条数据有没有是否落到Partition Leader磁盘上,只要消息发出去就认为这原创 2020-12-05 16:13:32 · 7622 阅读 · 0 评论 -
【kafka】---kafka的pull模型
一、pull和push模型消费系统主要有两种模型推送或消费消息。push:优势在于消息实时性高,劣势在于没考虑comsumer消费能力和饱和情况,容易导致producer压垮consumer。消息中转代理将消息推送到消费者后,标记这条消息已经消费,但这种方式无法保证消息被消费处理。如果要保证消息被处理,消息代理发送完消息后标记“已发送”,再消费者确认消费了回复后变成“已消费”。这需要消费中转代理记录所有消息状态,显然很不切合实际。pull:优势在于可以控制消费速度和消费数量,保证comsumer不会原创 2020-09-12 16:52:37 · 2873 阅读 · 1 评论 -
【kafka】---kafka的日志清理机制
kafka的消费者们只消费消息,消费后并不是立即清除,那么kafka是怎样进行日志清理?kafka的日志清理机制一般分为两种:日志清除和日志压缩。这两种机制是需要config/server.properties文件配置后才会选中,二选一。常见使用的是日志清除,至于日志压缩 适合特别场景。一、日志清除机制config/server.properties文件配置如下# 日志片段文件的检查周期,查看它们是否达到了删除策略的设置(log.retention.hours或log.retention.bytes原创 2020-09-12 16:36:46 · 2208 阅读 · 2 评论 -
【kafka】---kafka日志分段机制和查找机制
一、kafka介绍Kafka是一个分布式、多分区、多副本且基于Zookeeper协调的高吞吐量分布式消息系统。一个典型的Kafka集群中包含若干Produce,若干broker(一般broker数量越多,集群吞吐率越高),若干Consumer Group,以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置,选举leader,以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker,Consumer使用pull原创 2020-09-12 16:13:21 · 952 阅读 · 0 评论