![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 90
xingchensuiyue
这个作者很懒,什么都没留下…
展开
-
Kafka消息一致性
Kafka 是互联网行业内常用的一个消息中间,和RabbitMQ、RocketMQ的作用都是解耦生产端和消费端,缓存消息。优点:高吞吐,低延迟可扩展性持久性,可靠性容错性高并发Kafka是怎么保证端到端之间的消息一致性的呢?每一个环节都会可能导致数据丢失或者重复。1. 生产者生产者的职责就是,确保生产的消息能到达Kafka,这里一般可以通过ack机制(kafka中的参数)来确定消息是否到达kafka中。1.1 ack该参数表示有多少个分区副本收到消息,才认为本次发送是成功的.原创 2021-12-24 12:59:05 · 2389 阅读 · 0 评论 -
大数据框架之kafka详解
目录1 kafka介绍1.1 kalka是什么?1.2 为什么需要消息队列?2 Kafka 的消息系统语义3 扩展:纠删码技术1 kafka介绍1.1 kalka是什么?可以简单的将kafka看做是一种消息队列,启动生产者与消费者的解耦,此外也可以起到消峰限流(缓冲)的作用。并且kafka可以实现数据的容错(即数据丢失后,可以恢复)。kafka延迟低(即数据可以立即被消费者获取)1.2 为什么需要消息队列?1)解耦:允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。原创 2020-10-23 22:47:02 · 443 阅读 · 0 评论