RocketMQ介绍与安装

最新推荐文章于 2022-01-27 11:49:41 发布
最新推荐文章于 2022-01-27 11:49:41 发布
阅读量331 收藏 1
点赞数
分类专栏： RocketMQ
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pjsdsg/article/details/104002499
版权

1.RocketMQ简介

RocketMQ是Apache RocketMQ֢作为阿里开源的一款高性能、高吞吐量的分布式消息中间件

特点：

  1. 支持Broker和Consumer端消息过滤
  2. 支持发布订阅模型，和点对点
  3. 支持拉pull和推push两种消息模式
  4. 单一队列百万消息、亿级消息堆积
  5. 支持单master节点，多master节点，多master多slave节点
  6. 任意一点都是高可用，水平拓展，producer，consumer，队列都可以分布式
  7. 消息失败重试机制、支持特点level的定时消息
  8. 新版本底层采用Netty
  9. 4.3.X支持分布式事务
  10. 适合金融类业务，高可用性跟踪和审计功能

概念：

  • Producer：消息生成者

  • Producer Group：消息生产者组，发送同类消息的一个消息生成组

  • Consumer：消费者

  • Consumer Group：消息同类消息的多个实例

  • Tag：标签，子主题(二级分类)对topic的进一步细化，用于区分同一个主题下的不同业务的消息

  • Topic：主题，如订单类消息，queue是消息的物理管理单位，而topic是逻辑管理单位。一个topic下可以有多个queue,
    默认自动创建是4个，手动创建是8个

  • Message：消息，每个Message必须指定一个Topic

  • Broker：MQ程序，接收生产的消息，提供给消费者消息的程序

  • Name Server：给生产和消费者提供路由信息，提供轻量级的服务发现、路由、元数据信息，可以多个部署，互相独立(比zookeeper更轻量)

  • Offset：偏移量，可以理解为消息进度

  • commit log：消息存储会写在Commit log文件里面

官网地址：http://rocketmq.apache.org/
学习资源：

  • http://jm.taobao.org/2017/01/12/rocketmq-quick-start-in-10-minutes/
  • https://www.jianshu.com/p/453c6e7ff81c

2.环境准备

系统环境：Centos7 x64

JDK：jdk-8u201-linux-x64

Maven：3.2.x以上的版本均可

在这里就不讲解jdk和maven在linux的安装教程，可以自行百度

3. 安装RocketMQ

下载rocketmq

访问网址http://rocketmq.apache.org/docs/quick-start/ 如下图：
在这里插入图片描述
我们下载编译好的，这样无需自己再编译了，省去很多时间。点击上图红色框的链接。

然后就进入网址：http://rocketmq.apache.org/release_notes/release-notes-4.6.0/。下载Binary版本的rocketmq，如下图：
在这里插入图片描述

我写这篇笔记的时候，播主使用的是4.4.0版本的，最新版本为 rocketmq-all-4.6.0，我们选择编译好的zip包，即上图中红色框框标记的，点击后进入真正的下载页面：
在这里插入图片描述
随便选择一个即可，进行下载。下载完拷贝到centos的/usr/local/software目录下

安装unzip

yum -y install unzip

解压安装包并重命名

unzip rocketmq-all-4.4.0-source-release.zip
mv rocketmq-all-4.4.0 rocketmq

在这里插入图片描述

编译安装

进入rocketmq目录

cd rocketmq

编译安装，初次安装需要安装很多依赖包，需要等一会时间

mvn -Prelease-all -DskipTests clean install -U

在这里插入图片描述

启动Name Server

cd distribution/target/apache-rocketmq/
sh bin/mqnamesrv &  或者 nohup sh bin/mqnamesrv & 推荐nohub守护进程方式启动

如下图所示启动成功
在这里插入图片描述

nohub守护进程方式启动nameserver时查看日志 tail -f nohub.out（结尾:
The Name Server boot success. serializeType=JSON）表示启动成功

启动Name Server时有可能会出现如下问题，原因是因为Rocketmq配置的默认启动内存大于系统内存

Java HotSpot(TM) 64-Bit Server VM warning: Using the DefNew young collector with the CMS collector is deprecated and will likely be removed in a future release
Java HotSpot(TM) 64-Bit Server VM warning: UseCMSCompactAtFullCollection is deprecated and will likely be removed in a future release.
Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000005ec800000, 4294967296, 0) failed; error='Cannot allocate memory' (errno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map 4294967296 bytes for committing reserved memory.
# An error report file with more information is saved as:
# /usr/local/software/rocketmq/distribution/target/apache-rocketmq/hs_err_pid59779.log

解决如下:
编辑runserver.sh文件，修改默认内存，设置小于系统内存即可

vim bin/runserver.sh
JAVA_OPT="${JAVA_OPT} -server -Xms2g -Xmx2g -Xmn1g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

启动Broker

启动Broker(-n 指定nameserver地址，nameserver服务端口为9876，broker默认端口为10911)

sh bin/mqbroker -n localhost:9876 或 nohup sh bin/mqbroker -n localhost:9876 &

如下图所示启动成功
在这里插入图片描述
启动成功之后改为nohup守护进程方式重新启动。

启动Broker时有可能会出现以下问题，原因也是内存不足

Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000005c0000000, 8589934592, 0) failed; error='Cannot allocate memory' (errno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map 8589934592 bytes for committing reserved memory.
# An error report file with more information is saved as:
# /usr/local/software/rocketmq/distribution/target/apache-rocketmq/hs_err_pid60100.log

解决如下:
编辑runbroker.sh 修改JAVA_OPT

vim bin/runbroker.sh
JAVA_OPT="${JAVA_OPT} -server -Xms2g -Xmx2g -Xmn1g"

关闭Nameserver和Broker

sh bin/mqshutdown broker
sh bin/mqshutdown namesrv

设置环境变量

vi /etc/profile

将下面的配置添加到文件最底部

export PATH=$PATH:/usr/local/software/rocketmq/distribution/target/apache-rocketmq/bin

export NAMESRV_ADDR=localhost:9876

保存，并退出。

更新profile文件

source /etc/profile

说明：export NAMESRV_ADDR=localhost:9876是NAMESRV_ADDR环境变量
再重启nameserver和broker

4. 安装RocketMQ控制台

下载rocket-console

可视化

在git上下载rocket-console

地址：https://github.com/apache/rocketmq-externals

在这里插入图片描述

上传并解压

unzip rocketmq-externals-master.zip

安装编译

进入rocketmq-console

cd rocketmq-externals-master
cd rocketmq-console

务必修改下面两个，再进行打包

  1. 修改pom.xml版本号(官方bug)
    将<rocketmq.version>4.4.0-SNAPSHOT</rocketmq.version>的SNAPSHOT去掉
    在这里插入图片描述
  2. 修改application.xml里面的nameserver地址
cd src/main/resources/
vim application.properties

添加nameserver的地址
在这里插入图片描述

再回到rocketmq-console 目录进行打包编译

mvn clean package -Dmaven.test.skip=true

在这里插入图片描述
编译需要10多分钟的时间，请耐心等待

启动jar包

编译完成进入target目录启动jar包

正常启动 java -jar rocketmq-console-ng-1.0.0.jar
守护进程方式启动 nohub java -jar rocketmq-console-ng-1.0.0.jar &

访问控制台

在浏览器输入服务器ip:8080，访问rocketmq控制台

盲流子开发
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Rocketmq web控制台
07-19
直接将war包丢到tomcat上，启动tomcat，访问地址为 http://tomcatIP地址:8080/rocketmq-console/cluster/list.do， 将tomcatIP地址替换掉就好了
linux下安装RocketMQ以及控制台
laidanlove250的博客
11-06 1836
1.RocketMQ简介 RocketMQ是阿里巴巴中间件开发的分布式消息系统，曾经经历过很多阿里巴巴大型项目的实际检验。在去年已经正式捐献给Apache开源基金会，成为孵化项目。今年正式升级成为了apache的顶级项目。 RocketMQ官网地址为：http://rocketmq.apache.org/，感兴趣的可以多多查看官网文档。 2.准备工作 2.1 安装环境 本文所安装的Roc...
rocketMQ安装部署详细解析
热门推荐
tubunanhai的博客
08-16 1万+
栉风沐雨，砥砺同行！你好，我是关惜寒！ 近来研究了Apache开源项目rocketMQ（原为阿里项目），并在两台linux服务器上完成了部署，现在整理下，供大家参考学习。 一、简介rocketMQ RocektMQ是阿里巴巴在2012年开源的一个纯java、分布式、队列模型的第三代消息中间件，不仅在传统高频交易链路有着低延迟的出色表现，在实时计算等大数据领域也有着不错的吞吐。 20...
RocektMQ社区"每周直播分享第7期"如约而至
weixin_44180594的博客
01-15 270
各位同学，RocektMQ社区"每周直播分享第7期"如约而至。 分享题目：RocketMQ消息消费概述 直播方式：钉钉群直播方式，群号(21791227) 分享时间：2019-01-17 20:00-21:30（本周四） 分享讲师：费红健 内容简介：从设计原理方面介绍消息消费的各个核心主题：负载均衡、pullconsumer、pushconsumer、orderly、具体使用场景等。 讲师简介：...
本周 RocektMQ社区活动
weixin_44180594的博客
12-27 362
本周 RocektMQ社区邀请了陈厚德老师进行源码直播分享。陈老师曾就职于腾讯、盛大、斗鱼等知名互联网公司，现就职于尚德机构。 分享相关信息： 直播方式：钉钉群直播方式，群号(21791227) 分享题目：RocketMQ同步、异步刷盘机制 分享时间：2018-12-28 20:00-21:30（本周五） 内容简介：源码分析RocketMQ同步、异步刷盘。 温馨提示：往期视频可以Apache Ro...
RocektMQ下载安装
weixin_47246830的博客
08-25 128
RocektMQ 安装 克隆一台虚拟机 设置ip 1、虚拟机修改ip vim /etc/sysconfig/network-scripts/ifcfg- 2、重启 reboot 3、官网下载 rocketmq-all-4.9.0-bin-release.zip [PGP] [SHA512] 4、解压 unzip rocketmq-all-4.7.1-bin-release.zip -d /opt/apps 5、修改解压后rocetmq /bin目录下的 runserver.sh runbroker.
RocketMQ安装和测试(Windows)
重生之我不会写代码
01-27 4176
RocketMQ安装和测试（windows）
rocketmq官网和其它资料
涂作权的博客
01-31 1万+
rocketmq官网： http://rocketmq.apache.org/ rocketmq的其它项目 https://github.com/apache/rocketmq-externals
RocketMQ的安装与启动
superJamison的博客
08-27 1208
RocketMQ的安装与启动 一、基本概念 1、消息（Message） 消息是指，消息系统所传输信息的物理载体，生产与消费数据的最小单位，没条消息必须属于一个主题。 2、主题（Topic） Topic表示一类消息的集合，每个主题包含若干条消息，每条消息只能属于一个主题，是RocketMQ进行消息订阅的基本单位。Topic：Message 1：n Message：Topic 1:1 一个生产者可以同时发送多种Topic的消息，而一个消费者只对某种特定的Topic感兴趣，即值可以订阅和
Docker中RocketMQ的安装与使用详解
09-29
主要介绍了Docker中RocketMQ的安装与使用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
RocketMQ打包与配置
12-20
介绍RocketMQ的一些配置参数,启动,安装, 还有运维命令等等东西
RocketMQ讲义-03.pdf
最新发布
04-25
2.2 安装RocketMQ 2.3 启动RocketMQ 2.4 测试RocketMQ 2.5 关闭RocketMQ 3 消息样例 3.1普通消息 3.1.1消息发送 3.1.2消费消息 3.2 顺序消息 3.3 ⼴播消息 3.4 延时消息 3.4.1 延时消息介绍 3.4.2 RocketMQ中的延迟...
rocketmq使用手册
08-29
rocketmq简单介绍以及安装步骤
rocketMQ（原版操作手册）
12-18
原版rocketMQ消息中间使用说明及操作手册。安装说明文档和相关介绍。
RocketMQ消费者核心配置和核心知识讲解
盲流子的博客
02-14 3407
1. RocketMQ消费者核心配置讲解 consumeFromWhere配置 1. CONSUME_FROM_FIRST_OFFSET：初次从消息队列头部开始消费，即历史消息(还存在broker的)，全部消费一遍，后续再启动接着上次消费的进度开始消费 2. CONSUME_FROM_LAST_OFFSET：默认策略，初次从该队列最尾开始消费，即跳过历史消息，后续再启动接着上次消费的进度开始消费...
RocketMQ生产者核心配置和核心知识讲解
盲流子的博客
02-13 1540
1. 消息队列RocketMQ生产者核心配置 生产者常见核心配置： compressMsgBodyOverHowmuch：消息超过默认字节4096后进行压缩 retryTimesWhenSendFailed：失败重复次数 maxMessageSize：最大消息配置，默认128k topicQueueNums：主题下面的队列数量，默认是4 autoCreateTopicEnable：是否自动创建t...
RocketMQ集群架构分析与主从模式搭建
盲流子的博客
02-12 1152
1. RocketMQ集群模式架构分析 1.1 单节点 优点：本地开发测试，配置简单，同步刷盘消息一条都不会丢 缺点：不可靠，如果宕机，会导致服务不可用 1.2 主从(异步、同步消息) 优点：同步双写消息不丢失，异步复制存在少量丢失，主节点宕机，从节点可以对外提供消息的消费，但是不支持写入 缺点：主备有短暂消息延迟，毫秒级，目前不支持自动切换，需要脚本或者其他程序进行监测然后进行停止broker，...
RocketMQ分布式事务消息
盲流子的博客
02-16 637
1. 分布式事务消息介绍 简单的说，就是一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务器上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失败。 本质上来说，分布式事务就是为了保证不同数据库的数据一致性。 2. RocketMQ4.X分布式事务消息架构讲解 RocketMQ事务消息： RocketMQ提供分布式事务功能，通过RocketMQ事务消息能达到分布...
rocketmq安装与配置
04-23
好的，关于rocketmq的安装与配置，你可以按照以下步骤来操作： 1.下载RocketMQ安装包 访问官网http://rocketmq.apache.org/release_notes/release-notes-4.9.0，下载对应版本的安装包。 2.解压 将下载的安装包解压到指定目录，假设解压后的路径为：/usr/local/rocketmq 3.设置环境变量 将解压后的/bin目录添加到环境变量中 4.修改配置文件 RocketMQ的配置文件包括broker.conf和nameserver.conf两个文件。 进入/ usr/local/rocketmq/conf目录，按照实际情况修改配置文件。 5.运行RocketMQ 在终端中进入/ usr/local/rocketmq/bin目录，运行以下命令即可启动RocketMQ： nohup sh mqnamesrv & nohup sh mqbroker -n localhost:9876 & 6.测试RocketMQ 进入/ usr/local/rocketmq/bin目录，运行以下命令测试RocketMQ是否启动成功： sh tools.sh org.apache.rocketmq.example.quickstart.Producer sh tools.sh org.apache.rocketmq.example.quickstart.Consumer

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值