消息队列
文章平均质量分 91
消息队列の学习笔记
Mirana_77
这个作者很懒,什么都没留下…
展开
-
Kafka集群
Kafka集群Kafka与Zookeeper控制器是重度依赖 ZooKeeper 的,Apache ZooKeeper 是一个提供高可靠性的分布式协调服务框架。它使用的数据模型类似于文件系统的树形结构,根目录也是以“/”开始。该结构上的每个节点被称为 znode,用来保存一些元数据协调信息。如果以 znode 持久性来划分,znode 可分为持久性 znode 和临时 znode。持久性 znode 不会因为 ZooKeeper 集群重启而消失,而临时 znode 则与创建该 znode 的 ZooK原创 2021-12-11 21:19:41 · 1554 阅读 · 0 评论 -
Kafka的高可靠性保证
Kafka的高可靠性实现 在消息队列介绍里,介绍过消息队列对高可靠性的保证可以从消息队列的三个阶段来保证高可靠性。生产阶段: ack机制存储阶段消费阶段:ack机制 那这里就从存储阶段,Kafka集群的副本机制来介绍。Kafka副本机制 所谓的副本机制(Replication),也可以称之为备份机制,通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝。副本机制的好处:提供数据冗余。即使系统部分组件失效,系统依然能够继续运转,因而增加了整体可用性以及数据持久性原创 2021-12-11 21:18:04 · 210 阅读 · 0 评论 -
Kafka的事务实现
Kafka的事务 Kafka 的事务解决的问题和 RocketMQ 是不太一样的。RocketMQ 中的事务,它解决的问题是,确保执行本地事务和发消息这两个操作,要么都成功,要么都失败。并且,RocketMQ 增加了一个事务反查的机制,来尽量提高事务执行的成功率和数据一致性。 而 Kafka 中的事务,它解决的问题是,确保在一个事务中发送的多条消息,要么都成功,要么都失败。注意,这里面的多条消息不一定要在同一个主题和分区中,可以是发往多个主题和分区的消息。当然,也可以在 Kafka 的事务执行过程中原创 2021-12-11 21:15:45 · 2608 阅读 · 0 评论 -
Kafka核心概念与源码阅读
Kafka学习笔记Kafka简介More than 80% of all Fortune 100 companies trust, and use Kafka.Apache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integrati原创 2021-12-09 17:31:08 · 1443 阅读 · 0 评论 -
消息队列笔记
消息队列笔记 本文部分图片摘自极客课程:消息队列高手课;部分概念摘自维基百科。消息队列的概念 任何技术的出现都是为了解决某个问题,消息队列是为了解决应用之间通信的需求,但是又不仅仅是这个需求。 那么消息队列是什么,有什么作用呢? 举个例子来说,就比如现在网购这么发达,最开始的快递行业是送货上门,你有个快递,快递小哥就会送到你家门口。但是问题来了,家里不一定有人啊。快递小哥就会直接把快递放在家门口,然后给你发个短信——xxx单号的快递放你家门口了,记得签收一下。如果没什么意外你下班回到家拿原创 2021-12-07 17:07:15 · 715 阅读 · 0 评论