MQ概述及RocketMQ在Linux下的安装和启动

已于 2023-02-22 21:35:34 修改
阅读量4.2k 收藏 7
点赞数 5
文章标签： linux java-rocketmq rocketmq
于 2023-02-22 20:27:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_57821542/article/details/129168603
版权

目录

一、MQ概述

1.1、MQ简介

MQ全称 Message Queue（消息队列），是在消息的传输过程中保存消息的容器。多用于分布式系统之间进行通信。

1.2、MQ用途

从网上可以查看到很多的关于MQ用途的叙述，但总结起来其实就以下三点：

1.限流削峰

MQ可以将系统的超量请求暂存其中，以便系统后期可以慢慢进行处理，从而避免了请求的丢失或系统被压垮。
在这里插入图片描述

2.异步解耦

上游系统对下游系统的调用若为同步调用，则会大大降低系统的吞吐量与并发度，且系统耦合度太高。
而异步调用则会解决这些问题。所以两层之间若要实现由同步到异步的转化，一般性做法就是，在这两层间添加一个MQ层。

在这里插入图片描述

3.数据收集

分布式系统会产生海量级数据流，如：业务日志、监控数据、用户行为等。针对这些数据流进行实时或批量采集汇总，然后对这些数据流进行大数据分析，这是当前互联网平台的必备技术。通过MQ完成此类数据收集是最好的选择。

1.3、MQ劣势

系统可用性降低

系统引入的外部依赖越多，系统稳定性越差。一旦 MQ 宕机，就会对业务造成影响。需利用各种手段提高MQ的可用性。

系统复杂度提高

MQ 的加入大大增加了系统的复杂度，以前系统间是同步的远程调用，现在是通过 MQ 进行异步调用。 需要处理MQ的可靠性问题，防止消息丢失。

1.4、MQ可靠性核心问题

生产者发送消息的可靠性

生产者如何确保成功发送消息到MQ。 同步重试还是异步回调。

MQ自身可靠性

已返回成功接收消息时，如何确保消息不丢失。—— 持久化机制。

消费者消费消息的可靠性

如何确保一定有消费者成功消费消息。—— 如何ACK。

二、RocketMQ简介

官方：https://rocketmq.apache.org/

RocketMQ是一个统一消息引擎、轻量级数据处理平台，是⼀款阿⾥巴巴开源的消息中间件。2016年11⽉28⽇，阿⾥巴巴向 Apache 软件基⾦会捐赠RocketMQ，成为 Apache 孵化项⽬。2017 年 9 ⽉ 25 ⽇，Apache 宣布 RocketMQ孵化成为 Apache 顶级项目（TLP ），成为国内⾸个互联⽹中间件在 Apache 上的顶级项⽬。

三、RocketMQ的安装与启动

3.1基本概念

3.1.1 消息（Message）

消息是指，消息系统所传输信息额物理载体，生产和消费数据的最小单位，每条消息必须属于一个主题。

3.1.2 主题（Tpotic）

Topic表示一类消息的集合，每个主题包含若干条消息，每条消息只能属于一个主题，是RocketMQ进行消息订阅的基本单位。 其实主题就是把消息进行分类。

一个生产者可以同时发送多种Topic的消息；而一个消费者只对某种特定的Topic感兴趣，即只可以订阅和消费一种Topic的消息。
在这里插入图片描述

生产者对主题为一对多；消费者对主题为一对一
producer:topic 1:n consumer:topic 1:1
主题对信息为一对多；信息对主题为一对一
topic:message 1:n message:topic 1:1

3.2单机安装与启动

3.2.1准备工作

软硬件需求：系统要求是64位的，JDK要求是1.8及其以上版本的。

下载RocketMQ安装包:
https://archive.apache.org/dist/rocketmq/4.9.0/rocketmq-all-4.9.0-bin-release.zip

将下载的安装包上传到Linux（也可以直接使用wget命令下载到Linux）

[root@iZ2ze2rikqlh3ql1n2cw61Z soft]# yum install -y unzip	
[root@iZ2ze2rikqlh3ql1n2cw61Z soft]# unzip rocketmq-all-4.9.0-bin-release.zip
[root@iZ2ze2rikqlh3ql1n2cw61Z soft]# cd rocketmq-all-4.9.0-bin-release/
[root@iZ2ze2rikqlh3ql1n2cw61Z rocketmq-all-4.9.0-bin-release]# ll
total 48
drwxr-xr-x 2 root root  4096 Jun 11  2021 benchmark
drwxr-xr-x 3 root root  4096 Jun 11  2021 bin
drwxr-xr-x 6 root root  4096 Jun 11  2021 conf
drwxr-xr-x 2 root root  4096 Jun 11  2021 lib
-rw-r--r-- 1 root root 17327 Jun  9  2021 LICENSE
-rw-r--r-- 1 root root  1338 Jun  9  2021 NOTICE
-rw-r--r-- 1 root root  5132 Jun  9  2021 README.md

3.2.2、修改初始内存

3.2.2.1、修改runserver.sh

使用vim命令打开bin/runserver.sh文件。现将这些值修改为如下：

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
3.2.2.2、修改runbroker.sh

使用vim命令打开bin/runbroker.sh文件。现将这些值修改为如下：

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g"

3.2.3启动

启动NameServer

### start namesrv
$ nohup sh bin/mqnamesrv &
 
### verify namesrv 
$ tail -f ~/logs/rocketmqlogs/namesrv.log
The Name Server boot success...

查看进程：

[root@iZ2ze2rikqlh3ql1n2cw61Z rocketmq-all-4.9.0-bin-release]# jps
20147 NamesrvStartup
20167 Jps

启动 Broker

### start broker
$ nohup sh bin/mqbroker -n localhost:9876 &

### verify broker
$ tail -f ~/logs/rocketmqlogs/broker_default.log 
The broker[broker-a,192.169.1.2:10911] boot success...

3.2.4、发送/接收消息测试

$ export NAMESRV_ADDR=localhost:9876
$ sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer
 SendResult [sendStatus=SEND_OK, msgId= ...

$ sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer
 ConsumeMessageThread_%d Receive New Messages: [MessageExt...

3.5、关闭Server

$ sh bin/mqshutdown broker
The mqbroker(36695) is running...
Send shutdown request to mqbroker(36695) OK

$ sh bin/mqshutdown namesrv
The mqnamesrv(36664) is running...
Send shutdown request to mqnamesrv(36664) OK

四、控制台的安装和启动

4.1、是什么

RocketMQ有一个可视化的dashboard，通过该控制台可以直观的查看到很多数据。

4.2、下载地址

官方地址：https://github.com/apache/rocketmq-dashboard

4.3、修改配置

修改其src/main/resources中的application.properties配置文件。
原来的端口号为8080，修改为一个不常用的，如7777
指定RocketMQ的name server地址(即要访问的linux虚拟机IP地址)
在这里插入图片描述

4.4、添加依赖

在解压目录rocketmq-console的pom.xml中添加如下JAXB依赖。

<dependency>
    <groupId>javax.xml.bind</groupId>
    <artifactId>jaxb-api</artifactId>
    <version>2.3.0</version>
</dependency>
<dependency>
    <groupId>com.sun.xml.bind</groupId>
    <artifactId>jaxb-impl</artifactId>
    <version>2.3.0</version>
</dependency>
<dependency>
    <groupId>com.sun.xml.bind</groupId>
    <artifactId>jaxb-core</artifactId>
    <version>2.3.0</version>
</dependency>
<dependency>
    <groupId>javax.activation</groupId>
    <artifactId>activation</artifactId>
    <version>1.1.1</version>
</dependency>

4.5、打包

在rocketmq-console目录下运行maven的打包命令。

mvn clean package -Dmaven.test.skip=true

4.6、启动控制台

java -jar target/rocketmq-dashboard-1.0.1-SNAPSHOT.jar

4.7、访问控制台

http://localhost:7777/

Alon1800
关注
  • 5
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
linux下rocketmq单机启动，部署rocketmq-dashboard
shanghaichongmin的博客
01-12 2757
启动broker：nohup sh bin/mqbroker -c conf/broker.conf autoCreateTopicEnable=true &生产：sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer。消费：sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer。修改conf/broker.conf，添加如下，这是为了对外ip开放，不然不能访问。
ActiveMQ的简单介绍和Linux上的安装
MrHuang
03-29 489
https://www.cnblogs.com/life-for-test/p/6541689.html底层是niohttps://www.cnblogs.com/minisun/p/6809827.html一、什么是JMSJMS即Java消息服务（Java Message Service）应用程序接口，是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统...
rocketMQ详解（linux版）
yhyyhyyhygood的博客
07-07 2146
MQ（Message Queue）即消息队列，我们知道队列是基础数据结构中“先进先出”的一种数据结构。消息队列一般用来解决应用解耦，异步消息，流量削峰等问题，实现高性能，高可用，可伸缩和最终一致性架构。解耦:减少系统关联性，mq作为中间件接受消息并等待消费，例如有两个系统，系统B需要用到系统A发送的数据，可以使用MQ作为中间件，A将消息发送给消息队列，B从消息队列取消息，避免AB之间直接接触耦合死(如果某天B不要A的数据咱是不是得删代码，容易秃头)
RocketMQ快速入门: linux安装RocketMQ并配置开机自启（一）
55555的博客
02-17 2917
针对rocketMQ的学习，首当其冲的就是正确安装服务，所以我们今天来看linux下如何安装rocketmq及其控制台服务，并设置各个服务的开机自启。
Linux安装RocketMQ教程【带图文命令巨详细】
最新发布
求知求志求智
06-08 1339
之后将下载好的压缩包上传至/data/install/目录下，过程略。此时rocketmq是关闭状态，使用systemctl 方式启动测试。将原来的参数就改为红框内参数，如果你的机器内存够大这一步可以不配置。这一步必须配置，方便后面开机自启动（修改为自己的jdk安装目录）将namesrv服务将给systemctl控制。将broker服务将给systemctl控制。jdk路径必须修改为自己的jdk路径。修改runbroker.sh脚本。如果机器内存够大这一步可以不配置。其他文档，这一步可以跳过。
Linux环境下安装RocketMQ（单机、集群）
路漫漫其修远兮，吾将上下而求索
04-22 7173
为了追求更好的性能，RocketMQ的最佳实践方式都是在集群模式下完成。RocketMQ官方提供了三种集群搭建方式：2主2从异步通信方式使用异步方式进行主从之间的数据复制，吞吐量大，但可能会丢消息。使用 conf/2m-2s-async 文件夹内的配置文件做集群配置。2主2从同步通信方式使用同步方式进行主从之间的数据复制，保证消息安全投递，不会丢失，但影响吞吐量使用 conf/2m-2s-sync 文件夹内的配置⽂件做集群配置。2主无从方式会存在单点故障，且读的性能没有前两种方式好。
linux下快速安装RocketMQ并运行使用（一看就会）
m0_67601895的博客
12-06 2195
linux下安装和启动RocketMQ
linux下MQ的安装.docx
07-28
linux下MQ的安装 自己验证过 可以正常使用
rocketmq设置开机启动脚本
03-05
rocketmq设置开机启动脚本
Linux 离线安装Rabbit MQ所需环境及安装包
11-08
Linux 离线安装Rabbit MQ所需环境及安装包， 主要包含ncurses，perl（perl-5.36.0.tar.gz），OpenSSL（openssl-1.1.1i.tar.gz），erlang（otp_src_23.2.tar.gz），rabbitmq（rabbitmq-server-generic-unix-3.8.11....
rocketMq-linux安装包
03-13
在Linux环境下安装RocketMQ，我们需要遵循以下步骤： 1. **环境准备**： - 首先确保系统是基于Linux发行版，如Ubuntu、CentOS等。 - 安装Java开发环境，因为RocketMQ依赖Java运行。可以使用`sudo apt-get install...
linux安装RocketMQ实例步骤
09-14
完成以上步骤后，你将在Linux环境中成功安装并启动了RocketMQ服务。接下来，你可以使用RocketMQ提供的客户端工具进行消息生产与消费，以验证服务是否正常工作。在实际部署时，还需要考虑监控、日志收集、故障恢复等...
linux 安装 RocketMQ
悟世君子的博客
10-24 1万+
RocketMQ 因其架构简单、业务功能丰富、具备极强可扩展性等特点被众多企业开发者以及云厂商广泛采用。历经十余年的大规模场景打磨，RocketMQ 已经成为业内共识的金融级可靠业务消息首选方案，被广泛应用于互联网、大数据、移动互联网、物联网等领域的业务场景。
启动rabbitmq
s1095622320的博客
03-10 1701
当rabbitmq-service install之后默认服务是enable的，如果这时设置服务为disable的话，rabbitmq-service start就会报错。当rabbitmq-service start正常启动服务之后，使用disable是没有效果的。rabbitmq-plugins disable rabbitmq_management 关闭。rabbitmq-plugins enable rabbitmq_management 启动。3、Rabbitmq 管理插件启动，可视化界面。
Linux环境下配置安装RocketMQ
小小小小小真的博客
07-04 3034
手动下载、下载完成后找到maven配置的仓库地址下面的\com\github\eirslett\yarn\1.22.10、手动放进去。mq 默认需要的内存是比较大的，根据自己 Linux 的内存大小去设置，我这里就改成 256 256 128 了。修改配置信息：进入到解压的文件夹下修改 application.yml 文件，根据情况修改，注意端口冲突问题。新开开了两个窗口，都在 mq 的 bin 目录下，一个用于发送消息，一个用于接收消息。创建目录，使用ftp工具上传下载的包到上面创建的目录下。
Linux配置RocketMQ开机启动示例
cl617287的博客
08-21 548
之前按照百度上的一些配置试了下发现都有些问题，启动了，但是使用的时候各种异常，所以重新弄了个脚本。我们先在/etc/init.d目录下创建一个脚本rocketmq，然后将下面的内容放进去。ROCKETMQ_HOME=/usr/local/rocketmq记得换成自己的实际路径。我们看一下/etc/init.d目录下rocketmq是不是变成了绿色的。然后重启一下服务器测试一下。然后我们给这个脚本权限。再将它加入到开机服务中。可以看服务已经启动了。
RocketMQ在Linux中的安装教程
Andy的java博客
06-07 4281
修改目录 /usr/local/rocketmq/rocketmq-all-4.7.1-bin-release/bin 下的 3 个配置文件： runserver.sh、runbroker.sh 、tools.sh不然会报insufficient memory。进入 RocketMQ 安装目录下的 /usr/local/rocketmq/rocketmq-all-4.7.1-bin-release 目录进行操作。8.启动 NameServer。2.利用wget命令下载。9.启动 Broker。
RocketMQ Linux启动
花满天下的博客
02-14 2006
linux下启动rocketMQ 怕后边忘记 做下记录 首先第一步需要将rocketMQ项目上传到linux服务器上 rocketmq-all-4.3.0-bin-release.zip //解压文件夹 unzip rocketmq-all-4.3.0-bin-release.zip 然后修改nameService、Borker服务器内存 [root@CentOS-7 ~]# cd /usr/local/rocketmq-4.3.0/bin [root@CentOS-7 bin]# pwd /usr/lo
Linux安装RabbitMQ详细教程(最详细的图文教程）
热门推荐
laterstage的博客
07-03 1万+
RabbitMq安装教程
如何在Linux下安装mq
05-25
在 Linux 下安装 MQ，需要以下步骤： 1. 下载 MQ 安装包：你可以到 IBM MQ官方网站下载适用于 Linux 的 MQ安装包。 2. 安装 MQ：解压 MQ 安装包，然后运行安装脚本。根据提示，选择需要安装的组件和安装路径。 3. 创建 MQ 管理员账户：MQ 需要使用一个专用的管理员账户来启动和管理 MQ 服务。你可以使用 MQ 提供的控制台创建管理员账户，也可以使用命令行工具创建。 4. 启动 MQ：使用 MQ 提供的命令行工具启动 MQ 服务。在启动前，需要确保已经创建了 MQ 管理员账户。 安装 MQ 可以参考 IBM MQ 官方文档，这里提供一个简单的步骤说明。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值