名称解释(摘抄自—》官网《—)
Producer:消息发布的角色,支持分布式集群方式部署。Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递,投递的过程支持快速失败并且低延迟。Consumer:消息消费的角色,支持分布式集群方式部署。支持以push推,pull拉两种模式对消息进行消费。同时也支持集群方式和广播方式的消费,它提供实时消息订阅机制,可以满足大多数用户的需求。
NameServer:NameServer是一个非常简单的Topic路由注册中心,其角色类似Dubbo中的zookeeper,支持Broker的动态注册与发现。主要包括两个功能:Broker管理,NameServer接受Broker集群的注册信息并且保存下来作为路由信息的基本数据。然后提供心跳检测机制,检查Broker是否还存活;路由信息管理,每个NameServer将保存关于Broker集群的整个路由信息和用于客户端查询的队列信息。然后Producer和Conumser通过NameServer就可以知道整个Broker集群的路由信息,从而进行消息的投递和消费。NameServer通常也是集群的方式部署,各实例间相互不进行信息通讯。Broker是向每一台NameServer注册自己的路由信息,所以每一个NameServer实例上面都保存一份完整的路由信息。当某个NameServer因某种原因下线了,Broker仍然可以向其它NameServer同步其路由信息,Producer,Consumer仍然可以动态感知Broker的路由的信息。
BrokerServer:Broker主要负责消息的存储、投递和查询以及服务高可用保证。
centos7搭建最新版RocketMQ4.8.0单机&Demo
安装前提
你当前的系统环境需要已经安装和配置好jdk环境了。
rocketMQ版本最好和我统一,我包你不会踩坑。不然你可能会踩很久才能解决。
1、下载RocketMQ
我选择的是最新的4.8.0
执行命令进行下载
wget https://mirror.bit.edu.cn/apache/rocketmq/4.8.0/rocketmq-all-4.8.0-bin-release.zip
2、解压后放到合适位置
unzip rocketmq-all-4.8.0-bin-release.zip
创建存放目录
mkdir /usr/local/mysoftwares/rocketmq -p
把解压后的RocketMQ移动到指定目录
mv ./rocketmq-all-4.8.0-bin-release /usr/local/mysoftwares/rocketmq
切换到对应目录
cd /usr/local/mysoftwares/rocketmq/rocketmq-all-4.8.0-bin-release
3、修改启动配置文件
默认启动服务是使用4个G的内存,需要把它改小些,如下。
vim ./bin/runserver.sh
vim ./bin/runbroker.sh
默认启动broker是使用8个G的内存,需要把它改小些,如下。
注意坑一、
修改nameserver和broker默认指定的是内网IP,我们需要指定IP为外网ip(尤其是把rocketet搭载远程服务器的)。如果不改,你后面用java代码连接远程rocketMQ的时候会报错,进坑。
vim ./conf/broker.conf
添加黑框里的内容
4、配置环境变量
这里为了后面的测试,需要配置一下。
vim /etc/profile
在文件尾部添加以下内容。
export NAMESRV_ADDR=localhost:9876
重新加载环境变量
source /etc/profile
5、启动服务
需要启动的有namesrv和broker
启动name server
nohup sh ./bin/mqnamesrv &
启动broker
nohup sh ./bin/mqbroker -c ./conf/broker.conf autoCreateTopicEnable=true &
备注:
&:是后台方式进行启动进程
nohup:父进程关闭会导致子进程也关闭。nohup是让当前的启动的进程的父进程为根进程,而不是让当前所在的终端成为为其父进程。添加nohup后。即使当前终端关闭了,此nohup修饰启动的进程不会随着被关闭。
-n:用于broker指定name server的地址
-c:指定配置文件
查看启动日志
日志、以及数据 默认的存放位置放在家目录下
数据文件:
日志文件:
tail -f ~/logs/rocketmqlogs/broker.log
验证是否已经万事俱备
6、关闭防火墙&修改安全组策略
6.1、关闭防火墙
查看防火墙是否已经关闭
systemctl status firewalld
如果防火墙没关,那么就关一下防火墙
systemctl stop firewalld #关闭防火墙
systemctl disable firewalld #开机时不启动防火墙
6.2、修改安全组(如果是本地虚拟服务器则跳过此步骤)
7、测试
打开新的两个终端
cd /usr/local/mysoftwares/rocketmq/rocketmq-all-4.8.0-bin-release
可以通过已提供的测试根据,模拟生产者发送消息,消费者消费消息,测试环境是否已搭建好。
生产者发送消息
sh ./bin/tools.sh org.apache.rocketmq.example.quickstart.Producer
自动发送的消息如下
消费者消费消息
sh ./bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer
消费者接收的消息如下。
注:还记得第四步的修改根据变量不?export NAMESRV_ADDR=localhost:9876,为的就是告诉生产者和消费者我们的name server的地址。
8、安装RocketMQ监控平台
RocketMQ提供一个监控RocketMQ的后台管理界面。
从这里进行下载–》https://github.com/apache/rocketmq-externals
下载解压切换到其中的其中的rocketq-console模块下,编辑application.properties文件
解压
保存后,打开cmd,并执行如下命令进行打包
mvn clean package -Dmaven.test.skip=true
可以看到生成了一个jar包
把生成的jar包放到你的RocketMQ所在的服务器上
然后启动该jar包
启动方式一、前台启动模式
java -jar rocketmq-console-ng-2.0.0.jar
启动方式二、后台无日志模式
nohup java -jar rocketmq-console-ng-2.0.0.jar &>/dev/null &
访问Rocket管理界面看看
你的RocketMQ的公网IP:8080
9、java连接RocketMQ
9.1引入依赖
坑二:一定要注意这个客户端依赖的版本。我使用的是4.8.0的RocketMQ,这里的客户端rocketmq-client一定要使用4.4.0的,别跟着官方文档一样使用4.3.0的,不然你又会进坑。
我被这个坑了很久。
<dependency>
<groupId>org.apache.rocketmq</groupId>
<artifactId>rocketmq-client</artifactId>
<version>4.4.0</version>
</dependency>
9.2、生产者发送消息
public class SyncProducer {
public static void main(String[] args) throws Exception {
// 实例化消息生产者Producer
DefaultMQProducer producer = new DefaultMQProducer("abc");
// 设置NameServer的地址
producer.setNamesrvAddr("这里改成你rocketMQ的IP:9876");
// 启动Producer实例
producer.start();
for (int i = 0; i < 2; i++) {
// 创建消息,并指定Topic,Tag和消息体
Message msg = new Message("TopicTest1" /* Topic */,
"TagA" /* Tag */,
("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET) /* Message body */
);
// 发送消息到一个Broker
SendResult sendResult = producer.send(msg,10000);
// 通过sendResult返回消息是否成功送达
System.out.printf("%s%n", sendResult);
}
// 如果不再发送消息,关闭Producer实例。
producer.shutdown();
}
}
坑三:生产者在发送消息的时候,除非你的RocketMQ和你当前是属于同一个局域网,否则在producer.send的时候一定要指定超时时间。否则大概率会报异常,默认超时时间是3000毫秒,而我这边连到远程的rocketMQ基本都是3500毫秒以上,所以就会报超时异常。
9.3消费者
public class Consume {
public static void main(String[] args) throws MQClientException {
// 实例化消费者
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("abc");
// 设置NameServer的地址
consumer.setNamesrvAddr("这里改成你rocketMQ的IP:9876");
// 订阅一个或者多个Topic,以及Tag来过滤需要消费的消息
consumer.subscribe("TopicTest1","TagA");
// 注册回调实现类来处理从broker拉取回来的消息
consumer.registerMessageListener(new MessageListenerConcurrently() {
@Override
public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
ConsumeConcurrentlyContext consumeConcurrentlyContext) {
System.out.printf("%s Receive New Messages: %s %n", Thread.currentThread().getName(), msgs);
// 标记该消息已经被成功消费
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
}
});
//启动消费者实例
consumer.start();
System.out.printf("Consumer Started.%n");
}
}
消费过程(因为我生产者之前已经发送了很多条消息,所以这里有多条消费记录)
如果想看更多可以去看官方文档👉官方案例