科技D人生

erlang有并发优势，性能较好。虽然源码复杂，但是社区活跃度高，可以解决开发中遇到的问题；业务流量不大的话可以选择功能比较完备的 RabbitMQ。

1、消息中间件在生产系统中的使用下图是一个非常典型的生产环境的问题，很多公司都会在生产系统里使用MQ，即消息队列。也就是说，一个系统跟另外一个系统之间进行通信的时候，假如系统A希望发送一个消息给系统B，让它去处理。但是系统A不关注系统B到底怎么处理或者有没有处理好，所以系统A把消息发送给MQ，然后就不管这条消息的“死活”了，接着系统B从MQ里消费出来处理即可。至于怎么处理，是否处理完毕，什么时...

引言上期我们对比了RocketMQ和Kafka在多Topic场景下，收发消息的对比测试，RocketMQ表现稳定，而Kafka的TPS在64个Topic时可以保持13万，到了128个Topic就跌至0.85万，导致无法完成测试。我们不禁要问：为什么看不到Kafka性能暴跌的趋势呢？今天的测试，就来排查一下这个问题，然后验证一下两个系统对外服务的稳定性。本次测试，要引入“稳定性测试”这个...

引言前几期的评测中，我们对比了Kafka和RocketMQ的吞吐量和稳定性，本期我们要引入一个新的评测标准——软件可靠性。何为“可靠性”？先看下面这种情况：有A，B两辆越野汽车，在城市的周边地区均能很好应对泥泞的路况。当一同开去穿越西藏，A车会因为西藏本地的汽油不达标，导致油路受阻无法点火，而B车顺利完成了穿越。因此我们说，B车的可靠性比A车高。何为“软件可靠性”？“软件的可靠性”...

摘要： 在5月17日举办的2016云栖大会·武汉峰会上阿里中间件产品专家马雷（阿仁）就阿里中间件MQ做了精彩的演讲，告诉大家：阿里中间件团队的目标是让消息“传”无边界。本文也就为什么使用消息中间件，消息中间件的核心场景进行了分享。相信阿仁的分享会让大家对分布式应用的异步调用有更加深刻的了解。精彩不要错过！对整个分布式应用系统而言，一共分为两种调用，一种是同步调用，一种是异步调用。同步调用就...

近日，Apache RocketMQ 社区正式发布4.3版本。此次发布不仅包括提升性能，减少内存使用等原有特性增强，还修复了部分社区提出的若干问题，更重要的是该版本开源了社区最为关心的分布式事务消息，而且实现了对外部组件的零依赖。接下来，本文将详细探秘RocketMQ事务消息的设计原理以及实现机制。一、需求缘起在微服务架构中，随着服务的逐步拆分，数据库私有已经成为共识，这也导致所面临的分布...

本文将从，Kafka、RabbitMQ、ZeroMQ、RocketMQ、ActiveMQ 17 个方面综合对比作为消息队列使用时的差异。一、资料文档Kafka：中。有kafka作者自己写的书，网上资料也有一些。 rabbitmq：多。有一些不错的书，网上资料多。 zeromq：少。没有专门写zeromq的书，网上的资料多是一些代码的实现和简单介绍。 rocketmq：少。没有专门写rock...

一、RPCRPC（Remote Procedure Call）远程过程调用，主要解决远程通信间的问题，不需要了解底层网络的通信机制。常用的RPC框架有Facebook的Thrift、Alibaba的dubbo等。RPC的调用流程：1、建立通信首先要解决通讯的问题：即A机器想要调用B机器，首先得建立起通信连接，主要是通过在客户端和服务器之间建立TCP连接。2、服务寻址要解...

一、为什么使用 MQ?好的架构不是设计出来的，是演进出来的，使用 MQ 必定有其道理，是用来解决实际问题的。其实使用 MQ 的场景挺多的，但是比较核心的有 3 个：异步、解耦、削峰填谷。1、异步我们通过实际案例说明：假设 A 系统接收一个请求，需要在自己本地写库执行 SQL，然后需要调用 BCD 三个系统的接口。假设自己本地写库要 3ms，调用 BCD 三个系统分别要 300ms、45...

引言上一期我们对比了三类消息产品(Kafka、RabbitMQ、RocketMQ)单纯发送小消息的性能，受到了程序猿们的广泛关注，其中大家对这种单纯的发送场景感到并不过瘾，因为没有任何一个网站的业务只有发送消息。本期，我们就来模拟一个真实的场景：消息的发送和订阅一定是共存的 要支持多个订阅端订阅自己感兴趣的消息 鉴于上一期Kafka和RocketMQ的指标和关注度很高，本期我们将只针对...

引言分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间我们自家的产品 RocketMQ (MetaQ的内核) 也顺利开源,得到大家的关注。那么,消息中间件性能究竟哪家强?带着这个疑问,我们中间件测试组对常见的三类消息产品(Kafka、RabbitMQ、RocketMQ)做了性能比较。Kafka是LinkedIn开源的分布式发...

编者按这些年开源氛围越来越好，各大IT公司都纷纷将一些自研代码开源出来。2012年，阿里巴巴开源其自研的第三代分布式消息中间件——RocketMQ。经过几年的技术打磨，阿里称基于RocketMQ技术，目前双十一当天消息容量可达到万亿级。2016年11月，阿里将RocketMQ捐献给Apache软件基金会，正式成为孵化项目。阿里称会将其打造成顶级项目。这是阿里迈出的一大步，因为加入到开源软件...

本文首先引出消息中间件通常需要解决哪些问题，在解决这些问题当中会遇到什么困难，Apache RocketMQ作为阿里开源的一款高性能、高吞吐量的分布式消息中间件否可以解决，规范中如何定义这些问题。然后本文将介绍RocketMQ的架构设计，以期让读者快速了解RocketMQ。消息中间件需要解决哪些问题？Publish/Subscribe发布订阅是消息中间件的最基本功能，也是相对于传统...

前言消息团队一直致力于RocketMQ的性能优化，双十一前进行了低延时（毛刺）优化，保障了双十一万亿消息的流转如丝般顺滑，在2016年双十一种，MetaQ以接近万亿的消息总量支撑着全集团数千个应用，在系统解耦、削峰填谷、数据库同步、位点回滚消费等多种业务场景中，MetaQ都有精彩、稳定的表现。高可用低延迟，高并发抗堆积，2016双11的MetaQ真正做到了如丝般顺滑。而最近通过对性能的持续...

摘要：为了更好地让开发者们更加深入了解阿里开源，阿里云云栖社区在3月1号了举办“阿里开源项目最佳实践”在线技术峰会，直播讲述了当前阿里新兴和经典开源项目实战经验以及背后的开发思路。在本次在线技术峰会上，阿里巴巴中间件架构师冯嘉深入浅出的为大家讲述Apache RocketMQ背后的设计思路、典型场景、最佳实践以及社区运营与商业化之路。演讲嘉宾介绍：冯嘉（花名鼬神），阿里巴巴中间件架构师，具...

刚刚过去的双十一，阿里自主研发的消息中间件RocketMQ，充分展现了它的低延迟特性，大部分消息请求落在2ms内，慢请求也都落在20ms内，这无疑给追求快速响应的在线交易系统（OLTP）带去了福音。也是在今年11月份，RocketMQ进入Apache孵化。这款最初设计来为淘宝交易系统异步解耦、削峰填谷的消息中间件，开始走出国门，为世界上的用户提供服务。自然地，RocketMQ将来不仅仅只服务于在...

前言通过简单回顾阿里中间件(Aliware)消息引擎的发展史，本文开篇于双11消息引擎面临的低延迟挑战，通过经典的应用场景阐述可能会面临的问题 - 响应慢，雪崩，用户体验差，继而交易下跌。为了应对这些不可控的洪峰数据，中间件团队通过大量研究和实践，推出了低延迟高可用解决方案，在分布式存储领域具有一定的普适性。在此基础上，通过对现有有限资源的规划，又推出了分级的容量保障策略，通过限流、降级，甚至...

序言今年的双十一对阿里巴巴中间件消息团队来说，注定是个不平凡的日子。在这一天，稳定性小组重点攻克的低延迟存储解决方案成功地经受住了大考。整个大促期间，99.996%的延迟落在了10ms以内，极个别由于GC引发的停顿在50ms以内，对于读写比例几乎均衡的分布式消息引擎来说，这一结果无不令人兴奋。甚至可以毫不夸张地讲，即便拿到明年的Java one大会上，也必定是场非常吸睛的技术干货分享。接下来，...

淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，Kafka无限消息堆积，高效的持久化速度吸引了我们，但是同时发现这个消息系统主要定位于日志传输，对于使用在淘宝交易、订单...

摘要： 昨天，我们将分布式消息中间件RocketMQ捐赠给了开源软件基金会Apache。 孵化成功后，RocketMQ或将成为国内首个互联网中间件在Apache上的顶级项目。 消息一出，本以为群众的反应是这样的： 然而事实上，群众的反应是这样的： 今天，特别邀请到阿里巴巴中间件（Aliware）技术研究员蒋江伟（花名：小邪）跟大家分享一下RocketMQ开源的前世今生。昨天，我们将分布...