大厂五剑客之RocketMQ---3--RocketMQ部署---二周目

最新推荐文章于 2024-05-04 07:21:23 发布

nzch

最新推荐文章于 2024-05-04 07:21:23 发布

阅读量337

点赞数

分类专栏： MQ XXD

本文链接：https://blog.csdn.net/qq_28764557/article/details/101912880

版权

XXD 同时被 2 个专栏收录

73 篇文章 0 订阅

订阅专栏

19 篇文章 0 订阅

订阅专栏

阿里开源消息队列 RocketMQ4.x介绍和新概念讲解

Apache RocketMQ作为阿里开源的一款高性能、高吞吐量的分布式消息中间件
特点
- 支持Broker(应用程序)和Consumer端消息过滤
- 支持发布订阅模型，和点对点
- 支持拉pull和推push两种消息模式，长连接轮询
- 单一队列百万消息、亿级消息堆积
- 支持单master节点，多master节点，多master多slave节点
- 任意一点都是高可用，水平拓展，Producer、Consumer、队列都可以分布式
- 消息失败重试机制、支持特定level的定时消息
- 新版本底层采用Netty
- 4.3.x支持分布式事务
- 适合金融类业务，高可用性跟踪和审计功能
概念
- Producer:消息生产者
- Producer Group:消息生产者组，发送同类消息的一个消息生产组
- Consumer:消费者
- Consumer Group:消费同类消息的多个实例，消费池
- Tag:标签，子主题（二级分类）对topic的进一步细化,用于区分同一个主题下的不同业务的消息
- Topic:主题, 如订单类消息，queue是消息的物理管理单位，而topic是逻辑管理单位。一个topic下可以有多个queue，
  
  默认自动创建是4个，手动创建是8个这个和rabbitMq对比记忆
- Message：消息,每个message必须指定一个topic
- Broker：MQ程序，接收生产的消息，提供给消费者消费的程序
- Name Server：给生产和消费者提供路由信息，提供轻量级的服务发现、路由、元数据信息，可以多个部署，互相独立（比zookeeper更轻量）
- Offset: 偏移量，可以理解为消息进度，就像数组的下标
- commit log: 消息存储会写在Commit log文件里面
走读官网地址，学会如何学习新技术 http://rocketmq.apache.org/
学习资源
- http://jm.taobao.org/2017/01/12/rocketmq-quick-start-in-10-minutes/
- https://www.jianshu.com/p/453c6e7ff81c

-----------------------------------3-1------------

RocketMQ4.x本地快速部署

安装前提条件(推荐) 64bit OS, Linux/Unix/Mac (Windows不兼容) 64bit JDK 1.8+;
快速开始 http://rocketmq.apache.org/docs/quick-start/
下载安装包：http://mirror.bit.edu.cn/apache/rocketmq/4.4.0/rocketmq-all-4.4.0-source-release.zip
为什么不在win上面部署，因为是不兼容的。

小D下载的mq的源码：

我的mq是部署在我的苹果笔记本电脑上面的，是在虚拟机上：

/usr/local/fandayong/文件夹下。

unzip rocketmq-all-4.4.0-source-release.zip
cd rocketmq-all-4.4.0/
mvn -Prelease-all -DskipTests clean install -U //下载依赖包

cd distribution/target/apache-rocketmq
最终路径 rocketmq-all-4.4.0/distribution/target/apache-rocketmq

最新版本部署存在问题：
Please set the JAVA_HOME variable in your environment, We need java(x64)
解决：本地需要配置 JAVA_HOME 使用命令 vim ~/.bash_profile
JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_171.jdk/Contents/Home"
export JAVA_HOME
CLASS_PATH="$JAVA_HOME/lib"
PATH=".$PATH:$JAVA_HOME/bin"
解压压缩包

启动nameServer
nohup sh bin/mqnamesrv &
查看日志 tail -f nohup.out (结尾：The Name Server boot success. serializeType=JSON 表示启动成功)

启动broker (-n指定nameserver地址，nameserver服务端口为9876, broker默认端口 10911)
#nohup sh bin/mqbroker -n localhost:9876 &
nohup sh bin/mqbroker -n 192.168.244.130:9876 &
内存不足：https://blog.csdn.net/u014362882/article/details/80422136

关闭nameserver broker执行的命令
sh bin/mqshutdown broker//这个先关闭因为是依赖nameServer的
sh bin/mqshutdown namesrv
使用 jps查看进程
验证是否成功

#设置名称服务地址
export NAMESRV_ADDR=192.168.244.130:9876

#投递消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer
SendResult [sendStatus=SEND_OK, msgId= ...
#消费消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer
ConsumeMessageThread_%d Receive New Messages: [MessageExt...

这个是守护进程的意思。

生产者生产消息投递到borker

消费者消费消费

启动的步骤：

1.解压，下载依赖包

unzip rocketmq-all-4.4.0-source-release.zip
cd rocketmq-all-4.4.0/
mvn -Prelease-all -DskipTests clean install -U //下载依赖包

2.找到项目的启动路径

cd distribution/target/apache-rocketmq
最终路径 rocketmq-all-4.4.0/distribution/target/apache-rocketmq

3.启动：

nohup sh bin/mqnamesrv &

4.报错

jdk报错：

其他报错内存不足：http://www.pianshen.com/article/9429214246/

5.启动broker

nohup sh bin/mqbroker -n 192.168.244.130:9876 &

报错内存不足：https://blog.csdn.net/u014362882/article/details/80422136

6.测试消息略。

7.关闭：先关闭broker再关闭nameserver。

--------------------------------3-2-------------------------------

源码安装RocketMQ4.x可视化控制台

报错参考：https://blog.csdn.net/weixin_34362875/article/details/88883203

下载 https://github.com/apache/rocketmq-externals 需要clone这个代码。

推荐看这个代码。

第一步：编译代码要cd rocketmq-console只编译这个代码就可以。

第二步：编译打包 mvn clean package -Dmaven.test.skip=true，下载依赖包

[ERROR] Failed to execute goal on project rocketmq-console-ng: Could not resolve dependencies for project org.apache:rocketmq-console-ng:jar:1.0.0: The following artifacts could not be resolved: org.apache.rocketmq:rocketmq-tools:jar:4.4.0-SNAPSHOT, org.apache.rocketmq:rocketmq-namesrv:jar:4.4.0-SNAPSHOT, org.apache.rocketmq:rocketmq-broker:jar:4.4.0-SNAPSHOT: Could not find artifact org.apache.rocketmq:rocketmq-tools:jar:4.4.0-SNAPSHOT -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
 修改pom文件：
 解决 <rocketmq.version>4.4.0-SNAPSHOT</rocketmq.version>
 改为 <rocketmq.version>4.4.0</rocketmq.version>

存在问题，因为roccketmq-console 里面 pom.xml 版本问题

第三步：target目录通过java -jar的方式运行, 启动后是 8080端口启动。

nohup java -jar rocketmq-console-ng-1.0.0.jar &

访问：10.211.55.9:8080

其他常见问题：

1）无法连接获取broker信息    
   修改配置文件,名称路由地址为 namesrvAddr，例如我本机地址为 
    src/main/resources/application.properties   
    rocketmq.config.namesrvAddr=127.0.0.1:9876
    再次编译运行即可。
2）连接不成功    
   在阿里云，腾讯云或者虚拟机，记得检查端口号和防火墙是否启动    
   阿里云控制台有安全组，需要开放对应的端口

RocketMQ的原理：https://www.jianshu.com/p/2838890f3284

broker对应关系：https://www.jianshu.com/p/e023a3b6d2c3

自己的理解：

1) Name Server

Name Server是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。

2) Broker

Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的Broker Name，不同的Broker Id来定义，

BrokerId为0表示Master，非0表示Slave。

Master也可以部署多个。

每个Broker与Name Server集群中的所有节点建立长连接。

定时(每隔30s)注册Topic信息到所有Name Server。Name Server定时(每隔10s)扫描所有存活broker的连接，如果Name Server超过2分钟没有收到心跳，则Name Server断开与Broker的连接。

消息的生产者现在nameserver根据负载均衡选择一台服务器进行消息的发送。

3) Producer

Producer与Name Server集群中的其中一个节点(随机选择)建立长连接

定期从Name Server取Topic路由信息，并向提供Topic服务的Master建立长连接，且定时向Master发送心跳。Producer完全无状态，可集群部署。

Producer每隔30s（由ClientConfig的pollNameServerInterval）从Name server获取所有topic队列的最新情况，这意味着如果Broker不可用，Producer最多30s能够感知，在此期间内发往Broker的所有消息都会失败。

Producer每隔30s（由ClientConfig中heartbeatBrokerInterval决定）向所有关联的broker发送心跳，Broker每隔10s中扫描所有存活的连接，如果Broker在2分钟内没有收到心跳数据，则关闭与Producer的连接。

proder只向master建立长连接。

4) Consumer

Consumer与Name Server集群中的其中一个节点(随机选择)建立长连接

定期从Name Server取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。

Consumer每隔30s从Name server获取topic的最新队列情况，这意味着Broker不可用时，Consumer最多最需要30s才能感知。

Consumer每隔30s（由ClientConfig中heartbeatBrokerInterval决定）向所有关联的broker发送心跳，Broker每隔10s扫描所有存活的连接，若某个连接2分钟内没有发送心跳数据，则关闭连接；并向该Consumer Group的所有Consumer发出通知，Group内的Consumer重新分配队列，然后继续消费。

当Consumer得到master宕机通知后，转向slave消费，slave不能保证master的消息100%都同步过来了，因此会有少量的消息丢失。但是一旦master恢复，未同步过去的消息会被最终消费掉。

消费者对列是消费者连接之后（或者之前有连接过）才创建的。我们将原生的消费者标识由 {IP}@{消费者group}扩展为 {IP}@{消费者group}{topic}{tag}，（例如xxx.xxx.xxx.xxx@mqtest_producer-group_2m2sTest_tag-zyk）。任何一个元素不同，都认为是不同的消费端，每个消费端会拥有一份自己消费对列（默认是broker对列数量*broker数量）。新挂载的消费者对列中拥有commitlog中的所有数据。

如果有需要，可以查看Rocketmq更多源码解析

-----------------------------------------------------------3-3------------------安装可视化控制台-----