RocketMQ 介绍与安装

最新推荐文章于 2024-04-08 10:58:56 发布
最新推荐文章于 2024-04-08 10:58:56 发布
阅读量502 收藏
点赞数 2
分类专栏： RocketMQ 文章标签： RocketMQ 安装 centos打开某些端口
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/delight_sl/article/details/101107592
版权

第1章 RocketMQ

1.1 MQ介绍

​ MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。

1.2 主流MQ对比

目前市面上成熟主流的MQ有Kafka 、RocketMQ、RabbitMQ，我们这里对每款MQ做一个简单介绍。

Kafka

Apache下的一个子项目，使用scala实现的一个高性能分布式Publish/Subscribe消息队列系统。

快速持久化：通过磁盘顺序读写与零拷贝机制，可以在O(1)的系统开销下进行消息持久化；
高吞吐：在一台普通的服务器上既可以达到10W/s的吞吐速率；
高堆积：支持topic下消费者较长时间离线，消息堆积量大；
完全的分布式系统：Broker、Producer、Consumer都原生自动支持分布式，依赖zookeeper自动实现复载均衡；
支持Hadoop数据并行加载：对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。

RocketMQ

RocketMQ的前身是Metaq，当Metaq3.0发布时，产品名称改为RocketMQ。RocketMQ是一款分布式、队列模型的消息中间件，具有以下特点 ：

能够保证严格的消息顺序
提供丰富的消息拉取模式
高效的订阅者水平扩展能力
实时的消息订阅机制
支持事务消息
亿级消息堆积能力

RabbitMQ

使用Erlang编写的一个开源的消息队列，本身支持很多的协议：AMQP，XMPP, SMTP,STOMP，也正是如此，使的它变的非常重量级，更适合于企业级的开发。
同时实现了Broker架构，核心思想是生产者不会将消息直接发送给队列，消息在发送给客户端时先在中心队列排队。
对路由(Routing)，负载均衡(Load balance)、数据持久化都有很好的支持。多用于进行企业级的ESB整合。

特性对比
在这里插入图片描述

1.3 RocketMQ环境要求

RocketMQ对环境有要求，如下：

64bit OS, Linux/Unix/Mac is recommended;
64bit JDK 1.8+;
Maven 3.2.x;
Git;
4g+ free disk for Broker server

1.4 RocketMQ下载

RocketMQ目前已经捐赠给了Apache,官方地址为http://rocketmq.apache.org/ 目前最新版本已经是4.4版本，我们可以点击Latest release v4.4进入下载页。
在这里插入图片描述
这里提供了源码文件和二进制文件下载地址，我们可以根据自己的需要下载。我们等会会对源码进行学习，所以这里可以选择源码下载。
在这里插入图片描述
下载后的源码文件
在这里插入图片描述
下载后的安装文件在这里
在这里插入图片描述

1.5 单节点RocketMQ安装

1.5.1 环境准备

我们先准备一台centos虚拟机，ip：192.168.211.143，在hosts文件中配置地址与IP的映射关系。
在这里插入图片描述
修改/etc/hosts文件，加入如下映射关系

192.168.211.143 rocketmq-nameserver1
192.168.211.143 rocketmq-master1
1.5.2 安装配置

我们可以把安装文件上传到虚拟机上,并解压安装解压文件存放到/usr/local/server/mq目录下。

unzip rocketmq-all-4.4.0-bin-release.zip -d /usr/local/server/mq

更改解压后的文件名

mv rocketmq-all-4.4.0-bin-release rocketmq

创建RocketMQ存储文件的目录,执行如下命令：

[root@localhost rocketmq]# mkdir logs
[root@localhost rocketmq]# mkdir store
[root@localhost rocketmq]# cd store/
[root@localhost store]# mkdir commitlog
[root@localhost store]# mkdir consumequeue
[root@localhost store]# mkdir index

文件夹说明：

logs:存储RocketMQ日志目录
store:存储RocketMQ数据文件目录
commitlog:存储RocketMQ消息信息
consumequeue、index:存储消息的索引数据

conf目录配置文件说明

2m-2s-async:2主2从异步
2m-2s-sync :2主2从同步
2m-noslave :2主没有从

我们这里先配置单节点，可以修改2m-2s-async的配置实现。进入2m-2s-async目录,修改第1个配置文件broker-a.properties

vi broker-a.properties

将如下配置覆盖掉broker-a.properties所有配置

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示Master, > 0 表示slave
brokerId=0
#nameServer 地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876
#在发送消息时，自动创建服务器不存在的Topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认是凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/server/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/server/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/server/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/server/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/server/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/server/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000
# Broker 的角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE
brokerRole=ASYNC_MASTER
# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageTreadPoolNums=128
#拉消息线程池数量
#pullMessageTreadPoolNums=128

进入conf目录，替换所有xml中的${user.home},保证日志路径正确

sed -i 's#${user.home}#/usr/local/server/mq/rocketmq#g' *.xml

注意：sed -i在这里起一个批量替换的作用

sed -i 's#原字符串#新字符#g' 替换的文件

输入以下命令，修改conf目录下的broker.conf文件：

vi /usr/local/server/mq/rocketmq/conf/broker.conf

添加下面代码：

brokerIP1=192.168.211.143

RocketMQ对内存的要求比较高，最少1G，如果内存太少，会影响RocketMQ的运行效率和执行性能。我们需要修改bin目录下的runbroker.sh和runserver.sh文件

runbroker.sh

改前:
JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g"

改后:
JAVA_OPT="${JAVA_OPT} -server -Xms128m -Xmx256m -Xmn256m"

runserver.sh

改前:
JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

改后:
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

先启动namesrv

nohup sh mqnamesrv -n 192.168.211.143:9876 &

再启动broker

nohup sh mqbroker -n 192.168.211.143:9876 -c /usr/local/server/mq/rocketmq/conf/2m-2s-async/broker-a.properties > /dev/null 2>&1 &

输入jps查看进程

[root@localhost rocketmqlogs]# jps
3255 NamesrvStartup
3290 BrokerStartup
3454 Jps
[root@localhost rocketmqlogs]#

注：对于某些人来说，安装的虚拟机服务器没有打开相关端口（关掉防火墙），以至于运行RocketMQ控制台时，连接失败，解决方式：
linux下查看防火墙状态
输入命令：

[root@localhost src]# service iptables status

Redirecting to /bin/systemctl status  iptables.service
Unit iptables.service could not be found.
提示Redirecting to /bin/systemctl status  iptables.service Unit iptables.service could not be found.

在CentOS 7或RHEL 7中防火墙由firewalld来管理，

如果要添加范围例外端口 如 1000-2000
语法命令如下：启用区域端口和协议组合
firewall-cmd [–zone=] --add-port=[-]/ [–timeout=]
此举将启用端口和协议的组合。端口可以是一个单独的端口 或者是一个端口范围 - 。协议可以是 tcp 或 udp。
实际命令如下：

添加

firewall-cmd --zone=public --add-port=8088/tcp --permanent （--permanent永久生效，没有此参数重启后失效）

firewall-cmd --zone=public --add-port=1000-2000/tcp --permanent

重新载入

firewall-cmd --reload

查看

firewall-cmd --zone=public --query-port=80/tcp

删除

firewall-cmd --zone=public --remove-port=80/tcp --permanent

在这里，你要开启9876、和另一个端口（如果运行控制台时报错，会有相关端口信息显示，然后直接开启就行了）

firewall-cmd --zone=public --add-port=9876/tcp --permanent

firewall-cmd --zone=public --add-port=xxxxx/tcp --permanent
1.5.3 RocketMQ控制台安装

我们这里直接将RocketMQ控制代码的源码放到项目中运行，后面课程结束后我们直接运行jar包即可。RocketMQ的控制台由一些RocketMQ爱好者提供。

下载地址:https://github.com/apache/rocketmq-externals/tree/master
在这里插入图片描述下载后，我们将rocketmq-console工程拷贝到IDEA的工作空间，并找到启动类App
我们这里目前用的是最新版本，下载的工程中rocketmq的包是快照版，需要将快照版的后缀去掉，因为目前中央仓库中已经没有快照版的包了。
在这里插入图片描述找到application.properties，配置RocketMQ的namesrv地址,如下图：
在这里插入图片描述

1.6 RocketMQ架构介绍

在这里插入图片描述

上面是RocketMQ的部署结构图,操作流程如下介绍：

  1. 启动Namesrv，Namesrv起来后监听端口，等待Broker、Produer、Consumer连上来，相当于一个路由控制中心。
  2. Broker启动，跟所有的Namesrv保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有topic信息。注册成功后，namesrv集群中就有Topic跟Broker的映射关系。
  3. 收发消息前，先创建topic，创建topic时需要指定该topic要存储在哪些Broker上。也可以在发送消息时自动创建Topic。
  4. Producer发送消息，启动时先跟Namesrv集群中的其中一台建立长连接，并从Namesrv中获取当前发送的Topic存在哪些Broker上，然后跟对应的Broker建长连接，直接向Broker发消息。
  5. Consumer跟Producer类似。跟其中一台Namesrv建立长连接，获取当前订阅Topic存在哪些Broker，然后直接跟Broker建立连接通道，开始消费消息。

注：以上内容来自以下两个链接和我自己安装时所出现的问题以及解决方法
第1章 RocketMQ 介绍与安装：https://blog.csdn.net/Same_Liu/article/details/89517131
Linux下查看防火墙状态报错Unit iptables.service could not be found：https://blog.csdn.net/liuguichenglove/article/details/84202116

delight_sl
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Docker中RocketMQ的安装与使用详解
09-29
主要介绍了Docker中RocketMQ的安装与使用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
JDK安装教程（有图详解）
R_Y_Fren的博客
09-23 28万+
1、JDK安装教程 一、下载JDK 下载路径： 1、链接: https://www.jdkdownload.com/. 2、链接: https://www.oracle.com/java/technologies/downloads/. （https://www.oracle.com/technetwork/java/javase/overview/index.html） 选择一个适合自己的JDK版本进行下载即可，具体安装步骤如下 1、简单说一下什么是JDK： ​ SUN公司提供了一套Java开发环境，简
JDK安装与配置详细图文教程
神之梦
08-16 9万+
JDK安装与配置详细图文教程     目的：本人健忘，以后难免会重装系统啥的，软件卸了装是常有的事，特此写此详细教程，一是方便自己以后重装的时候可以看看；二是如果有某位初学者有幸光临，也可以给一点参照。下面我会从JDK的下载、安装、环境变量的配置和其中的一些问题进行详细说明，Let go！ 一、下载 JDK是个免费的东东，所以大家不要去百度啥破解版了，直接去官网下载最新版本吧，比较安全，官网
【Python】RocketMQ 基础使用
最新发布
Talk is cheap. Show me the code
04-08 652
RocketMQ是一个开源的分布式消息传递系统，最初由阿里巴巴集团开发并于2012年开源。它旨在解决高可靠性、高吞吐量、低延迟和可伸缩性等大规模分布式系统下的消息通信需求。RocketMQ的设计目标是提供一种灵活、可靠、高性能的消息传递解决方案，适用于各种场景，包括在线消息通信、日志处理、流式处理、事件驱动架构等。：RocketMQ采用了分布式架构，支持水平扩展和高可用性。它的架构包括多个消息生产者、多个消息消费者和多个消息服务器（Broker）。
JDK安装教程详解
怪咖@的博客
01-12 3万+
JDK 是的简称，也就是 Java 开发工具包。JDK 是整个 Java 的核心，其中JDK包含了 Java 运行环境（Java Runtime Envirnment，简称 JRE），Java 工具（比如 javac、java、javap 等等），以及 Java 基础类库（比如 rt.jar）。最主流的 JDK 是Oracle公司发布的 JDK，除了 Oracle JDK（商业化，更稳定）之外，还有很多公司和组织开发了属于自己的 JDK，比较有名的有IBM JDK（更适合 IBM） 和OpenJDK。
JDK的具体安装（带图带解释巨详细）
weixin_62399938的博客
11-20 6934
JDK（Java Development Kit）是 Java 语言的软件开发工具包，中文称为 Java 开发工具包。它由 Sun 公司（现属于 Oracle 公司）提供，为 Java 程序开发提供了编译和运行环境。JDK 是整个 Java 应用程序开发的核心，包含了 Java 运行环境（JRE，Java Runtime Environment）和一些 Java 工具。 JDK 的主要功能如下： 1. 提供了编译和运行 Java 程序的环境，包括编译器、解释器和虚拟机。 2. 支持 Java 语言的规范
【2023】JDK入门安装教程与配置（零基础）
z099164的博客
06-20 1万+
【2023】JDK入门安装教程与配置（零基础）
RocketMQ打包与配置
12-20
介绍RocketMQ的一些配置参数,启动,安装, 还有运维命令等等东西
RocketMQ讲义-03.pdf
04-25
2.2 安装RocketMQ 2.3 启动RocketMQ 2.4 测试RocketMQ 2.5 关闭RocketMQ 3 消息样例 3.1普通消息 3.1.1消息发送 3.1.2消费消息 3.2 顺序消息 3.3 ⼴播消息 3.4 延时消息 3.4.1 延时消息介绍 3.4.2 RocketMQ中的延迟...
rocketmq使用手册
08-29
rocketmq简单介绍以及安装步骤
rocketMQ（原版操作手册）
12-18
原版rocketMQ消息中间使用说明及操作手册。安装说明文档和相关介绍。
JDK安装配置教程
qq_43884946的博客
10-18 1万+
jdk安装配置教程
JDK的安装完整教程
weixin_72997875的博客
06-12 1万+
变量值中输入：%JAVA_HOME%\bin （此处bin为JDK中的bin文件路径）点击开始菜单 ——》点击设置——》点击系统——》点击系统信息——》点击 高级系统设置。这个网址下载所需要的JDK版本进行安装，此此文档以jdk1.8为例。点击高级系统设置后会出现一个系统属性弹窗找到高级选项卡点击环境配置。在弹出的窗口点击运行按钮进入下图窗口。下载后找到所需jdk下载包下载即可。在变量名中输入：JAVA_HOME。变量值值输入：JDK的安装路径。这个窗口点击系统变量中的新建。win+r打开cmd。
JDK安装教程（推荐）
qq_53679247的博客
09-14 2万+
一、下载 首先点击地址进行下载：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 二、安装 1、双击下载的程序包（不建议改路径默认C盘好配置） ２.一路确定就可以了 三、接下来进行环境变量的配置 1、右键我的电脑，点击最下面的属性，之后再弹框里点击高级系统设置，再点击环境变量 2、点击新建（系统变量里面的新建） (1)新建->变量名"JAVA_HOME"，变量值C:\
JDK最详细安装教程
jiuliangliang的博客
03-07 5901
JDK详细安装配置过程
JDK安装配置教程(保姆级)
星浩的博客
09-29 4012
JRE（Java Runtime Envirnment）：Java运行环境包括JVM(Java虚拟机)和Java程序所需的核心类库等，所以如果只是要运行一个java程序，就只需要安装jre即可JDK（Java Development Kit）：Java语言的软件开发工具包jdk包含了java开发工具，也包含了JRE，所以作为开发人员，我们就需要安装jdk。
超详细Eclipse 和 JDK教程下载与安装步骤
Python966的博客
08-11 3554
超详细Eclipse 和 JDK教程下载与安装步骤
【Java】Eclipse的安装和JDK的安装与配置教程
Cappuccino Blog
04-26 1万+
Java是能够跨越多平台的、可移植性高的一种面向对象的编程语言，其简单易学、功能强大
JDK下载与安装教程
热门推荐
墨笙弘一
06-18 116万+
学习JAVA，必须得安装一下JDK(java development kit java开发工具包)，配置一下环境就可以学习JAVA了，下面是下载和安装JDK的教程： 1.JDK下载地址： http://www.oracle.com/technetwork/java/javase/downloads/index.html点开链接你应该看到如下图所示的界面： 2.点击上图中箭头所指的地方，会出
rocketmq安装与配置
04-23
好的，关于rocketmq的安装与配置，你可以按照以下步骤来操作： 1.下载RocketMQ安装包 访问官网http://rocketmq.apache.org/release_notes/release-notes-4.9.0，下载对应版本的安装包。 2.解压 将下载的安装包解压...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值