rocketMQ
文章平均质量分 90
LzwGlory
坚持自己的路
展开
-
RocketMQ 自己的整理和理解
每个人的想法不同, RocketMQ 介绍的时候就说 是阿里从他们使用的上 解耦出来 近一步简化 便捷的 目的当然是 让其能快速入手和开发 如果不是在项目设计层面上 只是使用的话 从Git上下载该项目的源码 其中有一个包是专门的测试 实例的 只需要照猫画虎 使用就可以了不能有中文路径!不能有中文路径! 不能有中文路径! 关系 两个接口转载 2016-11-18 18:33:13 · 3597 阅读 · 0 评论 -
kafka对比RocketMQ
淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Linkin开源了Kafka这个优秀的消息中间件,淘宝中间件团队在对Kafka做过充分Review之后,Kafka无限消息堆积,高效的持久化速度吸引了我们,但是同时发现这个消息系统主要定位于日志传输,对于使用在淘宝交易、订单...转载 2018-05-15 15:46:30 · 300 阅读 · 0 评论 -
分布式消息队列RocketMQ与Kafka架构上的巨大差异之1 -- 为什么RocketMQ要去除ZK依赖?
我们知道,在早期的RocketMQ版本中,是有依赖ZK的。而现在的版本中,是去掉了对ZK的依赖,转而使用自己开发的NameSrv。并且这个NameSrv是无状态的,你可以随意的部署多台,其代码也非常简单,非常轻量。那不禁要问了:ZooKeeper是业界用来管理集群的一个非常常用的中间件,比如Kafka就是依赖的ZK。那为什么RocketMQ要自己造轮子,自己做集群的管理呢?纯粹就是再做一个Zook...转载 2018-05-15 15:57:06 · 2641 阅读 · 0 评论 -
RocketMQ 顺序消费只消费一次 坑
rocketMq实现顺序消费的原理produce在发送消息的时候,把消息发到同一个队列(queue)中,消费者注册消息监听器为MessageListenerOrderly,这样就可以保证消费端只有一个线程去消费消息注意:是把把消息发到同一个队列(queue),不是同一个topic,默认情况下一个topic包括4个queue单个节点(Producer端1个、Consumer端1个)1...转载 2018-10-12 16:44:18 · 2867 阅读 · 1 评论 -
RocketMQ-顺序消费
看了https://www.jianshu.com/p/453c6e7ff81c这篇博客,得出顺序消费的结论。“要实现严格的顺序消息,简单且可行的办法就是:保证生产者 - MQServer - 消费者是一对一的关系”。我们下面通过几个实例来学习RocketMQ的顺序消费。一、单节点,也就是一个Producer一个Consumer。操作步骤: 1、先启动ConsumerQueue1...转载 2018-10-15 17:28:45 · 299 阅读 · 0 评论 -
安装rocketmq-console
一、alibaba版本使用rocketmq命令查看集群状态,查看topic信息时比较麻烦,而且不直观,这个时候可以使用一些web页面来管理rocketmq。以前曾使用过一个老版本的工具,适用于alibaba版本(贡献至apache之前的版本),这里只共享一个安装包的百度网盘连接:https://pan.baidu.com/s/1mhM0cDM使用方法也比较简单:1、在linux...转载 2018-09-30 11:26:30 · 759 阅读 · 0 评论 -
rocketmq安装部署过程(4.0.0版本)
准备工作 3个虚拟机节点的构成如下 : 安装步骤 操作过程1、安装包已经上传至其中1个节点。 2、解压缩安装包命令:unzip rocketmq-all-4.0.0-incubating-bin-release.zip解压缩之后如下: 3、 我这里将解压缩之后的文件夹移动了位置,并修改了名字,以便后续操作。命令: mv /home...转载 2018-09-30 11:29:14 · 225 阅读 · 0 评论 -
RocketMQ的顺序消费和事务消费
一、三种消费 :1.普通消费 2. 顺序消费 3.事务消费1.1 顺序消费:在网购的时候,我们需要下单,那么下单需要假如有三个顺序,第一、创建订单 ,第二:订单付款,第三:订单完成。也就是这个三个环节要有顺序,这个订单才有意义。RocketMQ可以保证顺序消费,他的实现是生产者(一个生产者可以对多个主题去发送消息)将这个三个消息放在topic(一个topic默认有4个队列)的一个队列里面,单...转载 2018-09-30 16:51:13 · 275 阅读 · 0 评论 -
rocketMQ producer,consumer基本特征
1 rocketMQ producer,consumer基本特征1. 介绍rocketMQ 有同步,异步,sendOneway发送消息机制。RocketMQ支持消费失败定时重试,每次重试间隔时间顺延。RocketMQ支持定时延迟发送机制。RocketMQ支持有序消息,及push,poll的不同消费机制。2. 延迟特征RocketMQ 支持定时消息,但是不支持任意时间精度,仅支持系统默...转载 2018-10-16 10:46:37 · 656 阅读 · 0 评论 -
分布式消息队列RocketMQ&Kafka -- 消息的“顺序消费”-- 一个看似简单的复杂问题
在说到消息中间件的时候,我们通常都会谈到一个特性:消息的顺序消费问题。这个问题看起来很简单:Producer发送消息1, 2, 3。。。 Consumer按1, 2, 3。。。顺序消费。但实际情况却是:无论RocketMQ,还是Kafka,缺省都不保证消息的严格有序消费!这个特性看起来很简单,但为什么缺省他们都不保证呢?有兴趣朋友可以关注公众号“架构之道与术”, 获取最新文章和进一步讨...转载 2018-10-16 11:14:20 · 192 阅读 · 0 评论 -
Please set the JAVA_HOME variable in your environment, We need java(x64)!
需要环境: jdk(1.6+) git(如果clone源码,需要git,没有git直接下载gar包也行) maven3.x在安装之前确定自己已经安装了jdk:java -version先获取recketmq源码,可以直接从官网下载tar包。下载完之后找个地方解压。进入目录“RocketMQ-3.5.8”执行 bash install.sh 命令这步执行完之后会新出来一个d...转载 2018-10-10 11:20:44 · 44453 阅读 · 5 评论 -
lock failed, MQ already started
问题1 lock failed, MQ already started上图的处理方案(具体查看代码)代码分析1代码分析2转载 2018-10-10 12:04:05 · 3222 阅读 · 3 评论 -
RocketMQ 迈入50万TPS消息俱乐部
前言消息团队一直致力于RocketMQ的性能优化,双十一前进行了低延时(毛刺)优化,保障了双十一万亿消息的流转如丝般顺滑,在2016年双十一种,MetaQ以接近万亿的消息总量支撑着全集团数千个应用,在系统解耦、削峰填谷、数据库同步、位点回滚消费等多种业务场景中,MetaQ都有精彩、稳定的表现。高可用低延迟,高并发抗堆积,2016双11的MetaQ真正做到了如丝般顺滑。而最近通过对性能的持续优化,在...转载 2018-04-15 12:06:28 · 2440 阅读 · 0 评论 -
Kafka vs RocketMQ——单机系统可靠性
引言前几期的评测中,我们对比了Kafka和RocketMQ的吞吐量和稳定性,本期我们要引入一个新的评测标准——软件可靠性。何为“可靠性”?先看下面这种情况:有A,B两辆越野汽车,在城市的周边地区均能很好应对泥泞的路况。当一同开去穿越西藏,A车会因为西藏本地的汽油不达标,导致油路受阻无法点火,而B车顺利完成了穿越。因此我们说,B车的可靠性比A车高。何为“软件可靠性”?“软件的可靠性”就是考察软件在各...转载 2018-04-15 11:56:37 · 305 阅读 · 0 评论 -
rocketmq 延迟队列的实现
流程描述:1. producer发消息,设置一个延迟level值. “设置消息延时 10s 消费”的 Producer 端代码如下:messageDelayLevel=1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h[java] view plain copy转载 2016-11-18 18:34:38 · 3860 阅读 · 0 评论 -
分布式消息队列RocketMQ--事务消息--解决分布式事务的最佳实践
说到分布式事务,就会谈到那个经典的”账号转账”问题:2个账号,分布处于2个不同的DB,或者说2个不同的子系统里面,A要扣钱,B要加钱,如何保证原子性?一般的思路都是通过消息中间件来实现“最终一致性”:A系统扣钱,然后发条消息给中间件,B系统接收此消息,进行加钱。但这里面有个问题:A是先update DB,后发送消息呢? 还是先发送消息,后update DB?假设先updat转载 2017-02-18 07:26:24 · 3035 阅读 · 1 评论 -
分布式消息队列RocketMQ&Kafka -- 消息的“顺序消费”-- 一个看似简单的复杂问题
在说到消息中间件的时候,我们通常都会谈到一个特性:消息的顺序消费问题。这个问题看起来很简单:Producer发送消息1, 2, 3。。。 Consumer按1, 2, 3。。。顺序消费。但实际情况却是:无论RocketMQ,还是Kafka,缺省都不保证消息的严格有序消费!这个特性看起来很简单,但为什么缺省他们都不保证呢?“严格的顺序消费”有多么困难下面就从3个方面来转载 2017-06-28 18:08:46 · 1327 阅读 · 0 评论 -
RocketMQ实战(二)
在上一篇《RocketMQ实战(一)》中已经为大家初步介绍了下RocketMQ以及搭建了双Master环境,接下来继续为大家介绍!Quick Start写一个简单的生产者、消费者,带大家快速体验RocketMQ~Maven配置:pom.xml生产者:生产者代码消费者:消费者代码无论生产者、消费者都必须给出GroupName,而转载 2017-10-17 20:38:59 · 379 阅读 · 0 评论 -
RocketMQ实战(一)
阿里巴巴有2大核心的分布式技术,一个是OceanBase,另一个就是RocketMQ。在实际项目中已经领教过RocketMQ的强大,本人计划写一个RocketMQ实战系列,将涵盖RocketMQ的简介,环境搭建,初步使用、API详解、架构分析、管理员集群操作等知识。What is RocketMQ?RocketMQ作为一款分布式的消息中间件(阿里的说法是不遵循任何规范的,所以不能完全用JMS的那一转载 2017-10-17 20:40:50 · 637 阅读 · 0 评论 -
RocketMQ实战(三):分布式事务
接 《RocketMQ实战(一)》,《RocketMQ实战(二)》,本篇博客主要讨论的话题是:顺序消费、RMQ在分布式事务中的应用等。关于多Master多Slave的说明由于在之前的博客中已经搭建了双Master,其实多Master多Slave大同小异,因此这里并不会一步步的演示搭建多Master多Slave,而是从思路上,分析下重点应该注意的配置项。多Master多Slave第一,这转载 2017-10-18 20:28:27 · 468 阅读 · 0 评论 -
RocketMQ实战(四)
前言这将是RocketMQ实战系列的最后一篇文章,该系列的文章列表如下:《RocketMQ实战(一)》《RocketMQ实战(二)》《RocketMQ实战(三):分布式事务》RocketMQ 3.2.6的事务机制在上一篇博客中,已经知道RocketMQ 3.0.8是支持事务回查机制,但是在RocketMQ 3.2.6中取消了这个功能,下面我们继续以转账功能分析我们自己如何解决这个问题。转载 2017-10-18 20:29:34 · 341 阅读 · 0 评论 -
rocketmq问题汇总-instanceName参数何时该设置?
以下只针对集群模式:1 producer默认情况下不需要设置instanceName,rocketmq会使用ip@pid(pid代表jvm名字)作为唯一标示如果同一个jvm中,不同的producer需要往不同的rocketmq集群发送消息,需要设置不同的instanceName原因如下:如果不设置instanceName,那么会使用ip@pid作为producer唯一标识,转载 2017-10-20 14:49:31 · 2695 阅读 · 0 评论 -
Kafka vs RocketMQ—— Topic数量对单机性能的影响
引言上一期我们对比了三类消息产品(Kafka、RabbitMQ、RocketMQ)单纯发送小消息的性能,受到了程序猿们的广泛关注,其中大家对这种单纯的发送场景感到并不过瘾,因为没有任何一个网站的业务只有发送消息。本期,我们就来模拟一个真实的场景:消息的发送和订阅一定是共存的要支持多个订阅端订阅自己感兴趣的消息鉴于上一期Kafka和RocketMQ的指标和关注度很高,本期我们将只针对这两个产品,对比...转载 2018-04-15 11:36:16 · 1785 阅读 · 0 评论 -
Kafka vs RocketMQ——多Topic对性能稳定性的影响
引言上期我们对比了RocketMQ和Kafka在多Topic场景下,收发消息的对比测试,RocketMQ表现稳定,而Kafka的TPS在64个Topic时可以保持13万,到了128个Topic就跌至0.85万,导致无法完成测试。我们不禁要问:为什么看不到Kafka性能暴跌的趋势呢?今天的测试,就来排查一下这个问题,然后验证一下两个系统对外服务的稳定性。本次测试,要引入“稳定性测试”这个概念,那什么...转载 2018-04-15 11:45:14 · 2914 阅读 · 0 评论 -
Kafka、RabbitMQ、RocketMQ消息中间件的对比 —— 消息发送性能
引言分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间我们自家的产品 RocketMQ (MetaQ的内核) 也顺利开源,得到大家的关注。那么,消息中间件性能究竟哪家强?带着这个疑问,我们中间件测试组对常见的三类消息产品(Kafka、RabbitMQ、RocketMQ)做了性能比较。Kafka是LinkedIn开源的分布式发布-订阅消息系统...转载 2018-04-15 11:47:01 · 411 阅读 · 0 评论 -
Address already in use
处理方案(这是由于服务启动时会默认监听10911、10912端口;所以这里调整为10921)参考文档:https://rocketmq.apache.org/docs/quick-start/https://rocketmq.apache.org/docs/rmq-deployment/http://chenchangqun.iteye.com/blog/2345133...转载 2018-10-10 12:06:02 · 552 阅读 · 0 评论