RocketMQ入门

已于 2023-04-13 16:13:33 修改
阅读量930 收藏
点赞数
分类专栏： # 消息队列 文章标签： java-rocketmq rocketmq java
于 2019-10-29 21:17:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42292373/article/details/102790429
版权

文章目录

RocketMQ概述

     RocketMQ 是一款分布式、队列模型的消息中间件，具有以下特点： 能够保证严格的消息顺序
提供丰富的消息拉取模式 高效的订阅者水平扩展能力 实时的消息订阅机制 亿级消息堆积能力

RocketMQ包含的组件

NameServer：存放生产者和消息投递信息
Producer：产生并发送消息
Consumer：接受并消费消息
Broker：存放消息


											Name Server
Name Server是RocketMQ的寻址服务。用于把Broker的路由信息做聚合。客户端依靠Name Server决定去获取对应topic的路由信息，从而决定对哪些Broker做连接。
Name Server是一个几乎无状态的结点，Name Server之间采取share-nothing的设计，互不通信。
对于一个Name Server集群列表，客户端连接Name Server的时候，只会选择随机连接一个结点，以做到负载均衡。
Name Server所有状态都从Broker上报而来，本身不存储任何状态，所有数据均在内存。
如果中途所有Name Server全都挂了，影响到路由信息的更新，不会影响和Broker的通信。

											Broker
Broker是处理消息存储，转发等处理的服务器。
Broker以group分开，每个group只允许一个master，若干个slave。
只有master才能进行写入操作，slave不允许。
slave从master中同步数据。同步策略取决于master的配置，可以采用同步双写，异步复制两种。
客户端消费可以从master和slave消费。在默认情况下，消费者都从master消费，在master挂后，
客户端由于从Name Server中感知到Broker挂机，就会从slave消费。
Broker向所有的NameServer结点建立长连接，注册Topic信息。

RocketMQ优点

1.强调集群无单点，可扩展(以前的ActiveMQ自己并不支持集群，做集群需要依赖zookeper)   最大的特点
2.任意一点高可用，水平可扩展
3.海量消息堆积能力，消息堆积后，写入低延迟。（ActiveMQ对堆积数量级不是很高，过高会MQ中间件会宕机。单个节点最多支持几千个） 最大的特点
4.支持上万个队列  最大的特点
5.消息失败重试机制 
6.消息可查询 
7.开源社区活跃 
8.成熟度（经过双十一考验）
9.支持拉取机制（发现还有一部分没有消费，直接全部拉出来消息，而不是一个一个消费啦） 最大的特点

RocketMQ的架构

在这里插入图片描述

当生产者生产消息的时候，此时他的消息，是发送到mq的集群中，消息发送到哪个mq当中了，可以采取均摊的机制，发送给不同的中间件，
而tomcat 也是采用均摊的方式进行消费mq的消息。

RocketMQ的原理

在这里插入图片描述

其中NameServer类似Eurka 他连接着生产者和消费者，生产者消息到Braoker当中，
加入Consumer有集群，到底吧那个消息分发到那个消费方服务器上有NameServer来进行决定。

RocketMQ环境搭建

RocketMQ软件
链接：https://pan.baidu.com/s/1v4mJlMgN-2J9rn1YOH2APw 
提取码：clxv 

JDK软件
链接：https://pan.baidu.com/s/1lMxUs1q2SMkz0nj9o42OQw 
提取码：auc5

1:环境需要需要安装jdk环境

vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.7.0_80
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile  ## 刷新文件
java -version  ## 验证

2: 添加Host文件

vi /etc/hosts

192.168.110.187 rocketmq-nameserver1
192.168.110.187 rocketmq-master1
192.168.110.188 rocketmq-nameserver2
192.168.110.188 rocketmq-master2

service network restart ## 刷新网卡

注意: Error:No suitable device found: no device found for connection "System eth0"
解决办法:
(1)ifconfig -a 查看物理 MAC HWADDR 的值
(2)vim 编辑文件 /etc/sysconfig/network-scripts/ifcfg-eth0中修改ifconfig中查出的MAC HWADDR值；

3：上传安装包

上传安装包
# 上传 alibaba-rocketmq-3.2.6.tar.gz文件至/usr/local
# tar -zxvf alibaba-rocketmq-3.2.6.tar.gz -C /usr/local 
# mv alibaba-rocketmq alibaba-rocketmq-3.2.6  #  加上版本号
# ln -s alibaba-rocketmq-3.2.6 rocketmq  # 软连接

4:创建存储路径【两台机器】
mkdir /usr/local/rocketmq/store

mkdir /usr/local/rocketmq/store/commitlogmkdir
mkdir /usr/local/rocketmq/store/consumequeue
mkdir /usr/local/rocketmq/store/index

5:RocketMQ配置文件【两台机器】

# vim /usr/local/rocketmq/conf/2m-noslave/broker-a.properties
# vim /usr/local/rocketmq/conf/2m-noslave/broker-b.properties

6:修改日志配置文件【两台机器】

# mkdir -p /usr/local/rocketmq/logs
# cd /usr/local/rocketmq/conf && sed -i 's#${user.home}#/usr/local/rocketmq#g' *.xml

7:修改启动NameServer【两台机器】

vim /usr/local/rocketmq/bin/runbroker.sh

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -
XX:PermSize=128m -XX:MaxPermSize=320m"

vim /usr/local/rocketmq/bin/runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -
XX:PermSize=128m -XX:MaxPermSize=320m"

8:启动NameServer【两台机器】

# cd /usr/local/rocketmq/bin
# nohup sh mqnamesrv &

9：启动BrokerServer A

cd /usr/local/rocketmq/bin
# nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &
# netstat -ntlp
# jps
# tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/broker.log
# tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log

10:启动BrokerServer B

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-noslave/broker-b.properties >/dev/null 2>&1 &
netstat -ntlp
 jps
tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/broker.log
 tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log

11:RocketMQ Console

将rocketmq-web-console 部署到webapps目录中。
/usr/local/apache-tomcat-7.0.65/webapps/rocketmq-web-console/WEB-INF/classes/
修改config.properties
rocketmq.namesrv.addr=192.168.110.195:9876;192.168.110.199:9876

12:运行效果
在这里插入图片描述

Java操作RocketMQ

Pom

<dependencies>
		<dependency>
			<groupId>com.alibaba.rocketmq</groupId>
			<artifactId>rocketmq-client</artifactId>
			<version>3.0.10</version>
		</dependency>
		<dependency>
			<groupId>com.alibaba.rocketmq</groupId>
			<artifactId>rocketmq-all</artifactId>
			<version>3.0.10</version>
			<type>pom</type>
		</dependency>
		<dependency>
			<groupId>ch.qos.logback</groupId>
			<artifactId>logback-classic</artifactId>
			<version>1.1.1</version>
		</dependency>
		<dependency>
			<groupId>ch.qos.logback</groupId>
			<artifactId>logback-core</artifactId>
			<version>1.1.1</version>
		</dependency>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>4.10</version>
			<scope>test</scope>
		</dependency>
	</dependencies>

生产者

生产者
public class Producer {

	public static void main(String[] args) throws MQClientException {
		DefaultMQProducer producer = new DefaultMQProducer("rmq-group");
		producer.setNamesrvAddr("192.168.110.195:9876;192.168.110.199:9876");
		producer.setInstanceName("producer");
		producer.start();
		try {
			for (int i = 0; i < 10; i++) {
				Thread.sleep(1000); // 每秒发送一次MQ
				Message msg = new Message("itmayiedu-topic", // topic 主题名称
						"TagA", // tag 临时值
						("itmayiedu-"+i).getBytes()// body 内容
				);
				SendResult sendResult = producer.send(msg);
				System.out.println(sendResult.toString());
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
		producer.shutdown();
	}

}

消费者

public class Consumer {
	public static void main(String[] args) throws MQClientException {
		DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("rmq-group");

		consumer.setNamesrvAddr("192.168.110.195:9876;192.168.110.199:9876");
		consumer.setInstanceName("consumer");
		consumer.subscribe("itmayiedu-topic", "TagA");

		consumer.registerMessageListener(new MessageListenerConcurrently() {
			@Override
			public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) {
				for (MessageExt msg : msgs) {
					System.out.println(msg.getMsgId()+"---"+new String(msg.getBody()));
				}
				return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
			}
		});
		consumer.start();
		System.out.println("Consumer Started.");
	}
}

RocketMQ重试机制

MQ 消费者的消费逻辑失败时，可以通过设置返回状态达到消息重试的结果。
MQ 消息重试只针对集群消费方式生效；广播方式不提供失败重试特性，即消费失败后，失败消息不再重试，继续消费新的消息。

public class Consumer {
	public static void main(String[] args) throws MQClientException {
		DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("rmq-group");

		consumer.setNamesrvAddr("192.168.110.195:9876;192.168.110.199:9876");
		consumer.setInstanceName("consumer");
		consumer.subscribe("itmayiedu-topic", "TagA");

		consumer.registerMessageListener(new MessageListenerConcurrently() {
			@Override
			public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) {
				for (MessageExt msg : msgs) {
					System.out.println(msg.getMsgId() + "---" + new String(msg.getBody()));
				}
				try {
					int i = 1 / 0;
				} catch (Exception e) {
					e.printStackTrace();
                                // 需要重试
					return ConsumeConcurrentlyStatus.RECONSUME_LATER;

				}
                         // 不需要重试
				return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
			}
		});
		consumer.start();
		System.out.println("Consumer Started.");
	}
}

注意:每次重试后，消息ID都不一致，所以不能使用消息ID判断幂等。

RocketMQ如何解决消息幂等

注意:每次重试后，消息ID都不一致，所以不能使用消息ID判断幂等。
解决办法:使用自定义全局ID判断幂等，例如流水ID、订单号使用msg.setKeys 进行区分
生产者、

public class Producer {

	public static void main(String[] args) throws MQClientException {
		DefaultMQProducer producer = new DefaultMQProducer("rmq-group");
		producer.setNamesrvAddr("192.168.110.195:9876;192.168.110.199:9876");
		producer.setInstanceName("producer");
		producer.start();
		try {
			for (int i = 0; i < 1; i++) {
				Thread.sleep(1000); // 每秒发送一次MQ
				Message msg = new Message("itmayiedu-topic", // topic 主题名称
						"TagA", // tag 临时值
						("itmayiedu-6" + i).getBytes()// body 内容
				);
				msg.setKeys(System.currentTimeMillis() + "");
				SendResult sendResult = producer.send(msg);
				System.out.println(sendResult.toString());
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
		producer.shutdown();
	}

}

消费者

	static private Map<String, String> logMap = new HashMap<>();

	public static void main(String[] args) throws MQClientException {
		DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("rmq-group");

		consumer.setNamesrvAddr("192.168.110.195:9876;192.168.110.199:9876");
		consumer.setInstanceName("consumer");
		consumer.subscribe("itmayiedu-topic", "TagA");

		consumer.registerMessageListener(new MessageListenerConcurrently() {
			@Override
			public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) {
				String key = null;
				String msgId = null;
				try {
					for (MessageExt msg : msgs) {
						key = msg.getKeys();
						if (logMap.containsKey(key)) {
							// 无需继续重试。
							System.out.println("key:"+key+",无需重试...");
							return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
						}
						msgId = msg.getMsgId();
						System.out.println("key:" + key + ",msgid:" + msgId + "---" + new String(msg.getBody()));
						int i = 1 / 0;
					}

				} catch (Exception e) {
					e.printStackTrace();
					return ConsumeConcurrentlyStatus.RECONSUME_LATER;
				} finally {
					logMap.put(key, msgId);
				}
				return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
			}
		});
		consumer.start();
		System.out.println("Consumer Started.");
	}
爱吃糖的靓仔
关注
专栏目录
RocketMQ学习 专题总结(一)
taylor的博客
09-23 2265
RocketMQ 专题RocketMQ 专题一1. MQ介绍1.2 MQ的优点和缺点1.3 各种MQ产品的比较2. RocketMQ快速入门2.1 准备工作2.1.1 下载RocketMQ2.2.2 环境要求2.2 安装RocketMQ2.2.1 安装步骤2.2.2 目录介绍2.3 启动RocketMQ2.4 测试RocketMQ2.4.1 发送消息2.4.2 接收消息2.5 关闭RocketMQ...
RocketMQ
qq_29547673的博客
05-06 2538
RocketMQ Mq的优点： 应用解耦 流量的削峰填谷 数据分发（将数据发送到多个系统） 异步处理 Mq的缺点： 系统可用性降低 使用mq后引用外部依赖增多，mq挂了将会影响应用的可用性 系统复杂度提高 消息的重复消费、Exactly-Once问题、消息消费顺序问题、消息丢失问题 一致性问题 多个系统同时处理消息，其中一个系统失败，整个系统一致性如何保证 常用MQ比较： 特性 RabbitMq RocketMQ Kafka 开发语言 Erlang Ja.
RocketMq详解：一、RocketMQ 介绍及基本概念
最新发布
qq_59961910的博客
09-20 3736
Name Server和ZooKeeper的作用大致是相同的，从宏观上来看，Name Server做的东西很少，就是保存一些运行数据，Name Server之间不互连，这就需要broker端连接所有的Name Server，运行数据的改动要发送到每一个Name Server来保证运行数据的一致性（这个一致性确实有点弱），这样就变成了Name Server很轻量级，但是broker端就要做更多的东西了。这种方式优点是数据与服务都没有单点问题，Master 宕机时消息无延迟，服务与数据的可用性非常高。
rocketmq入门指南
01-15
### RocketMQ 入门知识点详解 #### 一、RocketMQ 概述 RocketMQ 是一款高性能、可伸缩的消息中间件，它具有低延迟、高可靠的特点，适用于各种消息传递场景。RocketMQ 支持发布/订阅(Pub/Sub)和点对点(P2P)消息模型...
RocketMQ入门实战及源码解析.7z
06-23
RocketMQ是中国阿里巴巴开源的一款分布式消息中间件，它在大规模分布式系统中扮演着重要的角色，用于处理高并发、低延迟的...提供的"RocketMQ源码解析.pdf"和"RocketMQ入门指南.pdf"将是深入理解RocketMQ的宝贵资源。
RocketMQ入门（上）
02-20
1.能够保证严格的消息顺序2.提供丰富的消息拉取模式3.高效的订阅者水平扩展能力4.实时的消息订阅机制5.亿级消息堆积能力（1）NameServer是一个几乎无状态的节点，可集群部署，节点之间无任何信息同步（2）Broker部署...
RocketMQ-介绍
Logan的博客
08-10 3695
RocketMQ概述 1、RocketMQ简介 RocketMQ是一个统一消息引擎、轻量级数据处理平台。 RocketMQ是一款阿里巴巴开源的消息中间件。2016年11月28日，阿里巴巴向 Apache 软件基金会捐赠 RocketMQ，成为 Apache 孵化项目。2017 年 9 月 25 日，Apache 宣布 RocketMQ孵化成为 Apache 顶 级项目（TLP ），成为国内首个互联网中间件在 Apache 上的顶级项目。 官网地址：http://rocketmq.apache.org 2、R
RocketMq
心若有向往，何惧道阻且长！
03-01 7331
RocketMq
rocketMQ
weixin_30677073的博客
07-11 214
1、RocketMQ结构 　　 nameserver从broker获取topic信息，producer通过topic确定将消息发送到不同broker；broker中有多个messagequeue，消息发送到broker后经过轮询算法、hash算法等将消息发送到不同的messagequeue上。messagequeue本身不存放消息，真正的消息存放在commitlog...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值