RocketMQ
文章平均质量分 92
gonghaiyu
7年开发经验,2年项目管理经验。曾分别就职于某军工所,京东,美的等全球500强企业。
展开
-
RocketMQ封神之旅(三)-RocketMQ的其他考虑
为什么单机支持 1 万以上持久化队列 所有数据单独存储到一个 Commit Log,完全顺序写,随机读。 对最终用户展现的队列实际只存储消息在 Commit Log 的位置信息,并且串行方式刷盘。 优点 队列轻量化,单个队列数据量非常少。 对磁盘的访问串行化,避免磁盘竟争,不会因为队列增加导致 IOWAIT 增高。这里是因为采用了单个队列,而不像KafKa采用了多个patition。 缺点 写虽然完全是顺序写,但是读却变成了完全的随机读。 读一条消息,会先读 Consume Queue,再读 C原创 2021-06-12 23:05:45 · 1235 阅读 · 1 评论 -
RocketMQ封神之旅(一)-消息中间件需要解决的问题及RocketMQ发展历程
专业术语 Producer 消息生产者,负责产生消息,一般由业务系统负责产生消息。 Consumer 消息消费者,负责消费消息,一般是后台系统负责异步消费。 Push Consumer Consumer的一种,应用通常向Consumer对象注册一个Listener接口,一旦收到消息,Consumer对象立 刻回调Listener接口方法。 Pull Consumer Consumer的一种,应用通常主动调用Consumer的拉消息方法从Broker拉消息,主动权由应用控制。 Produc原创 2021-06-09 23:54:46 · 137 阅读 · 0 评论 -
RocketMQ封神之旅(二)-核心原理
本文从常见的物理部署结构开始,从启动、MQ接收、MQ消费的角度理解MQ的整个运行过程。本文很多资料来自于RocketMQ官网,感谢大佬们对开源的支持。 RocketMQ Overview RocketMQ是什么? 是一个队列模型的消息中间件,具有高性能、高可靠、高实时、分布式特点。 Producer、Consumer、队列都可以分布式。 Producer 向一些队列轮流发送消息,队列集合称为 Topic,Consumer如果做广播消费,则一个consumer实例消费这个Topic对应的所.原创 2021-06-09 23:44:46 · 188 阅读 · 0 评论 -
Kafka分布式消息系统
Kafka基本术语 • 话题(Topic):特定类型的消息流。消息是字节的有效负载(Payload),话题是消息的分类名或种子(Feed)名; • 生产者(Producer):发布消息到话题的任何对象; • 代理(Broker)或Kafka集群:保存消息的服务器或集群; • 消费者(Consumer):可以订阅一个或多个话题,并从Broker拉数据,从而消费这些已发布的消息。 • 消费者组(Consumer group):一个consumer必定属于某个group,一个group中可以有多个consumer原创 2020-11-15 14:21:06 · 332 阅读 · 1 评论 -
RocketMQ、KafKa和RabitMQ对比
MQ消息队列的作用 解耦 解耦是消息队列要解决的最本质问题。 最终一致性 最终一致性指的是两个系统的状态保持一致,要么都成功,要么都失败。有些消息队列是不能保证最终一致性。 广播 消息队列必备的功能是可以进行广播的。有了消息队列,我们只需要关心消息是否送达了队列,至于谁希望订阅,是下游的事情,无疑极大地减少了开发和联调的工作量。 错峰与流控 典型的使用场景就是秒杀业务用于流量削峰场...原创 2020-01-13 13:49:27 · 334 阅读 · 0 评论