（三）RocketMQ集群部署实践

最新推荐文章于 2024-08-09 16:05:57 发布
最新推荐文章于 2024-08-09 16:05:57 发布
阅读量2.2k 收藏 4
点赞数 2
分类专栏： RocketMQ 文档 文章标签： 集群 RocketMQ

全篇参照–《MyRocketMQ集群部署实战-双master-双slave-同步双写-异步刷盘（7台机器） - tantexian的博客空间 - 开源中国社区》

原文地址：https://my.oschina.net/tantexian/blog/703784

本文是笔者在参考上文实践过程中的理解和扩充

符号“【】”中内容、附注5，6以及FAQ中内容均笔者所注

一、基础环境配置：

以下所有机器均为16G内存。【内存配置可修改，128M以上，笔者测试机器内存平均为4G】

二、集群部署图

（四NameServer、双Mastere双Slave、同步双写、异步刷盘）：

)

三、对centos7操作系统参数调优：

【该步骤未进行，为生产环境下的优化操作，官网写到该步骤一个系统只可优化一次】

执行下述shell脚本：

#!/bin/sh

# Execute Only Once

#当前程序运行环境用户名
USERNAME=root
#需要修改IO模式磁盘盘符
DISKNAME=sda

echo 'vm.overcommit_memory=1' >> /etc/sysctl.conf
echo 'vm.min_free_kbytes=5000000' >> /etc/sysctl.conf
echo 'vm.drop_caches=1' >> /etc/sysctl.conf
echo 'vm.zone_reclaim_mode=0' >> /etc/sysctl.conf
echo 'vm.max_map_count=655360' >> /etc/sysctl.conf
echo 'vm.dirty_background_ratio=50' >> /etc/sysctl.conf
echo 'vm.dirty_ratio=50' >> /etc/sysctl.conf
echo 'vm.page-cluster=3' >> /etc/sysctl.conf
echo 'vm.dirty_writeback_centisecs=360000' >> /etc/sysctl.conf
echo 'vm.swappiness=10' >> /etc/sysctl.conf
cat /etc/sysctl.conf
sysctl -p

echo 'ulimit -n 655350' >> /etc/profile
echo "$USERNAME hard nofile 655350" >> /etc/security/limits.conf

#DISK=`df -k | sort -n -r -k 2 | awk -F/ 'NR==1 {gsub(/[0-9].*/,"",$3); print $3}'`
#[ "$DISK" = 'cciss' ] && DISK='cciss!c0d0'
echo 'deadline' > /sys/block/$DISKNAME/queue/scheduler


echo "---------------------------------------------------------------"
sysctl vm.overcommit_memory
sysctl vm.min_free_kbytes
sysctl vm.drop_caches
sysctl vm.zone_reclaim_mode
sysctl vm.max_map_count
sysctl vm.dirty_background_ratio
sysctl vm.dirty_ratio
sysctl vm.page-cluster
sysctl vm.dirty_writeback_centisecs
sysctl vm.swappiness

su - $USERNAME -c 'ulimit -n'
cat /sys/block/$DISKNAME/queue/scheduler

四、下载源码及编译（maven、git）：

1、安装maven、git：

yum install -y maven git

2、下载源码：

git clone https://git.oschina.net/tantexian/MyRocketMQ.git

这里写图片描述
【先在一个机子上安装git、maven来编译源码，jdk需要安装在7台机子上，上一篇文章有安装的解疑】

3、编译源码：

cd MyRocketMQ/
sh install.sh

这里写图片描述

4、将编译后的代码放置到自定义文件目录

（本次实验中放置到/home目录：）

这里写图片描述

PS：此处需要将编译后的MyRocketMQ-bin文件分别scp或者rsync同步到其他所有机器上去：

rsync -avzP /home/MyRocketMQ-bin/ root@10.128.31.104:/home/MyRocketMQ-bin/
rsync -avzP /home/MyRocketMQ-bin/ root@10.128.31.105:/home/MyRocketMQ-bin/
rsync -avzP /home/MyRocketMQ-bin/ root@10.128.31.106:/home/MyRocketMQ-bin/
rsync -avzP /home/MyRocketMQ-bin/ root@10.128.31.107:/home/MyRocketMQ-bin/
rsync -avzP /home/MyRocketMQ-bin/ root@10.128.31.108:/home/MyRocketMQ-bin/
rsync -avzP /home/MyRocketMQ-bin/ root@10.128.31.109:/home/MyRocketMQ-bin/

这里写图片描述

5、若不希望每次rsync输入密码验证，可以配置互信ssh、scp、rsync登录传输（互通）：

1、在主节点node103上生成秘钥（输入命令后一直回车即可）：
ssh-keygen -t rsa       
2、分别将node103加入到node104、node105、node106、node107、node108、node109的authorized_keys中
rsync -avzP /root/.ssh/id_rsa.pub root@10.128.31.104:/root/.ssh/authorized_keys
rsync -avzP /root/.ssh/id_rsa.pub root@10.128.31.105:/root/.ssh/authorized_keys
rsync -avzP /root/.ssh/id_rsa.pub root@10.128.31.106:/root/.ssh/authorized_keys
rsync -avzP /root/.ssh/id_rsa.pub root@10.128.31.107:/root/.ssh/authorized_keys
rsync -avzP /root/.ssh/id_rsa.pub root@10.128.31.108:/root/.ssh/authorized_keys
rsync -avzP /root/.ssh/id_rsa.pub root@10.128.31.109:/root/.ssh/authorized_key

注：这样以后从node103往其他节点copy东西则不再需要输入密码验证！！！

最好检测其他所有node是否同步成功MyRocketMQ-bin：

这里写图片描述

【rsync比scp传文件要慢一些】

五、配置JDK、Rocketmq等环境参数：

1、安装jdk(依次在所有机器配置执行)：

虽然目前google已经尝试使用openjdk代替oraclejdk：http://www.oschina.net/translate/openjdk-is-now-the-time）
还是建议使用oracle的jdk替换掉自带的openjdk，若不想替换则无需下续步骤。
首先卸载自带的openjdk：

【注：经测试openjdk也可使用，只要保证唯一jdk就行，否则会冲突】
这里写图片描述

这里写图片描述

rpm -e --nodeps java-1.7.0-openjdk-1.7.el7.x86_64 java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64

这里写图片描述

ps：如果rpm -e 下载不成功，可以尝试使用yum remove命令卸载。
然后再去oracle网站下载对应的jdk安装：
若下载的为rpm包：则使用rpm -ivh xxx 进行安装即可！！！

这里写图片描述

2、配置jdk和Rocketmq环境变量：

vim /root/.bashrc  #在该文件添加一下内容

# Set RocketMQ Environment
ROCKETMQ_HOME=/home/MyRocketMQ-bin # 此处为上述步骤中的maven编译后文件目录代码
ROCKETMQ_CLASSPATH=$ROCKETMQ_HOME/lib  # 此处为rocketmq运行所依赖的jar的classpath
ROCKETMQ_PATH=$ROCKETMQ_HOME/bin  # 此处为rocketmq运行bin目录，加入到可执行命令
export ROCKETMQ_HOME  ROCKETMQ_CLASSPATH ROCKETMQ_PATH  # 设置环境变量
# 此处根据具体nameser集群设置环境变量
export NAMESRV_ADDR='10.128.31.103:9876;10.128.31.104:9876;10.128.31.105:9876;10.128.31.106:9876'  

# Set Java Environment
JAVA_HOME=/usr/java/jdk1.7.0_79
JRE_HOME=/usr/java/jdk1.7.0_79/jre
PATH=.:$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$ROCKETMQ_PATH  # 此处将ROCKETMQ_PATH
CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$ROCKETMQ_PATH
export JAVA_HOME JRE_HOME PATH CLASSPATH
  • PS：编辑完成执行 source/root/.bashrc或者 . /root/.bashrc 使之生效
  • 执行：chmod +x /home/MyRocketMQ-bin/bin/ *
  • 上述命令将/home/MyRocketMQ-bin/bin/目录下的命令加入到PATH，即linux能直接执行。
  • 注意：同理需要将/root/.bashrc文件使用rsync或者scp同步到其他所有节点上去！！！

【采用集群模式时，启动broker时，需要指定nameserver 地址集，即NAMESRV_ADDR，包含每一个nameserver集群地址。因为nameserver之间不会进行信息同步，均通过broker定时汇报保持各节点信息“同步”】

六、集群启动：

1、将所有hostname配置到hosts:

vim /etc/hosts

这里写图片描述

同步到所有机器！！！

先附上集群部署规划(更多详细请自行参考前续集群部署图)：
NameServer集群：node103/node104/node105/node106
Master1/Slave1 :  node103->node105
Master2/Slave2 :  node104->node106
Producer/Consumer集群：node107/node108/node109

2、先启动NameServer集群节点

（node103/node104/node105/node106分别执行以下命令）：

nohup sh /home/MyRocketMQ-bin/bin/mqnamesrv &

3、再启动Broker服务

【双主双备，修改相应的配置文件参数】

node103：
cp /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-a.properties /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-master1.properties
vim /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-master1.properties

这里写图片描述

【同步复制方式下的主/备参数：SYNC_MASTER / SLAVE】

启动node103 broker进程：
nohup sh /home/MyRocketMQ-bin/bin/mqbroker -c /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-master1.properties>bk.log
node104：
cp /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-a.properties /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-master2.properties
vim /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-master2.properties

这里写图片描述

启动node104 broker进程：
nohup sh /home/MyRocketMQ-bin/bin/mqbroker -c /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-master2.properties>bk.log
node105：
cp /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-a.properties /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-slave1.properties
vim /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-slave1.properties

这里写图片描述

启动node105 broker进程：
sh /home/MyRocketMQ-bin/bin/mqbroker -c /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-slave1.properties
node106：
cp /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-a.properties /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-slave2.properties
vim /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-slave2.properties

这里写图片描述

启动node106 broker进程：
sh /home/MyRocketMQ-bin/bin/mqbroker -c /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-slave2.properties

至此，NameServer/Broker集群服务都已启动

4、启动Producer

node107 启动生成者：
sh /home/MyRocketMQ-bin/bin/tools.sh com.alibaba.rocketmq.example.simple.Producer

这里写图片描述

5、启动Consumer

node108 启动消费者：
sh /home/MyRocketMQ-bin/bin/tools.sh  com.alibaba.rocketmq.example.simple.PushConsumer

这里写图片描述

PS：启动顺序总结：
1. 先启动nameser集群所有节点
2. 启动Broker所有的master节点
3. 启动Broker所有slave节点

七、rocket-web控制台配置搭建：

1、下载tomcat至centos7：

这里写图片描述

2、下载rocketmq-console项目，编译回去war包

（官方地址：https://github.com/rocketmq/rocketmq-console）：
【附个war包下载地址：http://download.csdn.net/detail/howie_zhw/9580058#comment】

编译之前需要修改config.properties文件nameser为当前环境nameser集群值：

这里写图片描述

3、将编译完成的war拷贝到tomcat对应的webapps目录下：

这里写图片描述

4、运行tomcat：

 sh /home/apache-tomcat-8.5.0/bin/catalina.sh run

这里写图片描述

这里写图片描述

5、页面访问web控制台：

这里写图片描述

【不方便编译的话，直接下载war包copy到tomcat/webapps下，到自动生成的文件夹：rocketmq-console/WEB_INF/classes/config.properties 修改默认的127.0.0.1:9876 地址为你的nameserver地址，重启tomcat服务，访问http://tomcatIP地址:8080/rocketmq-console/cluster/list.do 就可以了】

以下为附加内容，作为参考：

附1、集群操作命令汇总及自定义简化命令：

1、启动NameServer：
sh /home/MyRocketMQ-bin/bin/mqnamesrv
2、启动Broker
如果将上述所有的配置文件name统一修改为：2m2s-sync-borker.properties
则可以使用一下命令启动各节点Broker：
sh /home/MyRocketMQ-bin/bin/mqbroker -c /home/MyRocketMQ-bin/conf/2m-2s-sync/2m2s-sync-borker.properties
3、停止NameServer及Broker命令：
ps aux | grep NamesrvStartup | grep -v grep | awk '{print $2}' | xargs kill -9
ps aux | grep BrokerStartup | grep -v grep | awk '{print $2}' | xargs kill -9
4、自定义Alias命令（首先建立文件目录：mkdir /var/log/rocketmq）：
alias stna='nohup sh /home/MyRocketMQ-bin/bin/mqnamesrv > /var/log/rocketmq/mqnamesrv.log &'
alias stbr='nohup sh /home/MyRocketMQ-bin/bin/mqbroker -c /home/MyRocketMQ-bin/conf/2m-2s-sync/2m2s-sync-borker.properties > /var/log/rocketmq/broker.log &'
alias killna="ps aux | grep NamesrvStartup | grep -v grep | awk '{print $2}' | xargs kill -9"
alias stpr='sh /home/MyRocketMQ-bin/bin/tools.sh com.alibaba.rocketmq.example.simple.Producer'
alias stco='sh /home/MyRocketMQ-bin/bin/tools.sh com.alibaba.rocketmq.example.simple.PushConsumer'
alias killbr="ps aux | grep BrokerStartup | grep -v grep | awk '{print $2}' | xargs kill -9"
5、添加到.bashrc中：
vim /root/.bashrc

这里写图片描述

6、使用简短命令操作：

这里写图片描述

附2：Broker相关配置参数：

这里写图片描述

这里写图片描述

这里写图片描述

附3：NameserStartup僵尸进程解决办法：

假若需要kill 掉进程，不能使用jps查看进程来kill 否则会出现僵尸进程：

如果出现僵尸进程则需要使用ps -ahp 21514来查找僵尸进程的父进程，接着再kill掉。

这里写图片描述

【RocketMQ提供了“温柔”关闭namesrv、broker服务的命令：mqshutdown】

附4：获取当前broker全局配置：

mqbroker -m（ mqbroker -p打印全部）

这里写图片描述

附5：RocketMQ中Readme

这里写图片描述

附6：rocket-console控制台展示

【下图为笔者测试截图，具体信息与上文信息不符请见谅】

查询指定topic的produceGroupName：

这里写图片描述

查询Topic情况

这里写图片描述

查询消费者组

这里写图片描述

查询某条消息信息

这里写图片描述

FAQ

1、启动Nameserver或broker服务提示内存不足

现象描述：
“VM warning: INFO: OS::commit_memory(0x00000006c0000000, 2147483648, 0) faild; error=’Cannot allocate memory’ (errno=12)”

FAQ-问题3报错截图

解决方案：修改/RocketMQ/devnev/bin/ 下的服务启动脚本 runserver.sh 、runbroker.sh 中对于内存的限制，​改成如下示例：

 JAVA_OPT="${JAVA_OPT} -server -Xms128m -Xmx128m -Xmn128m -XX:PermSize=128m -XX:MaxPermSize=128m"

2、tomcat配置和启动问题

tomcat启动：进入安装目录

  • bin/startup.sh #启动tomcat
  • bin/shutdown.sh #停止tomcat

或者直接输入tomcat命令启动（笔者yum安装的tomcat7.04）

tomcat start(stop)

tomcat启动后，仍无法访问的问题可以参考几点：

  • 端口监听未添加
  • 端口被防火墙阻拦，关闭防火墙
  • 如果是用yum安装的tomcat，能够正常启动，但是无法访问ip:8080。经笔者测试，是由于yum安装的tomcat缺少ROOT等文件，无法访问ip:8080成功，但是将rocket-console部署到webapps中，是可以正常访问到的。

3、如何自定义Producer、Consume内容进行消息收发测试？

问题描述：如何自定义Producer、Consumer的代码运行，比如修改Producer的topic，发送条数，Consumer的Group name等信息

解读：目前Producer、Consumer的启动是通过tool.sh进行启动，其调用的是已经封装好的jar包，所以无法直接修改Producer的代码进行测试。

解决办法：可通过编写demo项目，导入RocketMQ的依赖包，运行测试程序Producer、Consumer进行测试，具体方案参看Myeclipse中搭建RocketMQ测试项目

箫沐予
关注
专栏目录
Dledger部署RocketMQ高可用集群（9节点集群）
Java程序员廖志伟
02-27 631
🌟我是廖志伟，一名Java开发工程师、Java领域优质创作者、CSDN博客专家、51CTO专家博主、阿里云专家博主、清华大学出版社签约作者、产品软文专业写手、技术文章评审老师、问卷调查设计师、个人社区创始人、开源项目贡献者。🌎跑过十五公里、🚀徒步爬过衡山、🔥有过三个月减肥20斤的经历、是个喜欢躺平的狠人。
rocketmq集群
程序员野蛮成长
03-17 519
理论先行 首先在这两台机器上分别启动NameServer（nohup sh bin/mqnamesrv &），这样我们就得到了一个无单点的NameServer服务，服务地址是“192.168.100. 131:9876; 192.168.100.132:9876”。然后启动Broker，每台机器上都要分别启动一个Master角色的Broker和一个Slave角色的Broker，并互为主备。...
RocketMQ集群搭建，看完这篇文章你就懂了（基于2m-2s-async模式）
热门推荐
小威的博客
07-24 1万+
上一篇初步认识了RocketMQ，这一篇文章我们简单来搭建一个RocketMQ集群。RocketMQ支持多种集群部署模式，其中最常用的是多主多从的异步复制模式（2m代表两个master，2s代表两个slave，async代表异步刷盘的机制）。今天我们就以这种方式来 搭建。本篇文章除了集群的搭建，也适合面试使用，在这里希望能帮助到各位正在学习RocketMQ的小伙伴儿们！
图解RocketMQ之保姆级部署指南
最新发布
一个成长中的程序员，期待用技术的眼光生活
08-09 917
但凡是亲自部署过 RocketMQ 的小伙伴估计都跟我有一样的感受，岂是一个坑字了得。RocketMQ 的迭代不算快，但出乎意料的是不同的版本之间部署的方式又不大一样，你去上网查吧，大部分教程也没标注使用的是哪个版本。作为技术博主，我对教程是有着强烈洁癖的，我认为一切不标注时效的教程都不是好教程。正如你所看到的，我正写的保姆级部署教程是基于的这个版本，来自未来的读者，我希望你在实践之前能和我的版本保持一致。
RocketMq-集群
小城我家
11-19 167
集群特点 NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步 Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，rokerId为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接，定时注册Top
RocketMQ集群
wangziustc的博客
05-12 576
1、编译RocketMQ 安装git：yum install git 下载RocketMQ：git clone -b develop https://github.com/apache/incubator-rocketmq.git 安装maven：yum install maven 编译RocketMQ： cd incubator-rocketmq mvn -Prelease-al
rocketmq集群部署
08-11
#### 四、RocketMQ集群部署实践 1. **环境准备** - 安装CentOS 7操作系统。 - 确保所有节点网络可达。 2. **Nameserver部署** - 部署2个或更多实例。 - 配置Nameserver服务启动脚本。 3. **Broker部署** - ...
基于DLedger构建高可用RocketMQ集群实践.pdf
10-16
"基于DLedger构建高可用RocketMQ集群实践" 本文档主要介绍了基于DLedger构建高可用RocketMQ集群的实践经验，旨在解决RocketMQ多副本架构的演进和容灾切换问题。下面是本文档中提到的关键知识点： 1. DLedger简介：...
中间件+RocketMq+集群部署
11-12
总之，RocketMQ集群部署涉及到多个步骤和组件，但遵循正确的配置和操作流程，可以构建出一个强大、可靠的分布式消息系统。理解RocketMQ的工作原理和最佳实践，对于优化系统性能和保障业务连续性至关重要。
RocketMQ-RocketMQ集群实践(搭建)
weixin_43874650的博客
12-03 1273
而且更严重的是，如果服务器出现了问题，比如磁盘坏了，那么存储在磁盘上的数据就会丢失。指令另一部分节点作为Slave节点，负责备份Master节点上的数据，这样，当Master节点出现故障时，在Slave节点上可以保留有数据备份，至少保证数据不会丢失。​ 为了便于观察，我们这次搭建一个2主2从的RocketMQ集群，并将主节点和节点都分别部署在不同的服务器上。我们这次采用2m-2s-async的方式搭建集群，需要在worker2和worker3上修改这个文件夹下的配置文件。这种集群存在单点故障。
rocketMQ集群
weixin_43606738的博客
09-07 248
rocketMQ集群模式 1.单节点 : 优点：本地开发测试，配置简单，同步刷盘消息一条都不会丢 缺点：不可靠，如果宕机，会导致服务不可用 2.主从(异步、同步双写) : 优点：同步双写消息不丢失, 异步复制存在少量丢失 ，主节点宕机，从节点可以对外提供消息的消费，但是不支持写入 缺点：主备有短暂消息延迟，毫秒级，目前不支持自动切换，需要脚本或者其他程序进行检测然后进行停止broker,重启...
RocketMQ(8) -- RocketMQ集群搭建实践
姜皓的博客
05-04 695
RocketMQ集群搭建实践
RocketMQ的集群搭建
流浪猫
02-24 426
1、数据复制和刷盘策略 数据复制 复制策略是Broker的Master和Slave之间的数据同步方式，分为同步复制和异步复制 同步复制：消息写入master后，master会等待slave同步数据成功后才向producer返回成功ACK 异步复制：消息写入master后，master会立即向producer返回成功ACK，不会等待slave同步数据成功 刷盘策略 刷盘策略是指消息发送到broker内存后消息持久化到磁盘的方式(也叫做落盘)，分为同步刷盘和异步刷盘 同步刷盘：当消息持.
Rocketmq的集群搭建
wssc63262的博客
07-27 1866
居于RocketMQ4.9.4搭建集群
RocketMQ集群搭建
weixin_38568503的博客
12-07 2577
目录一、集群搭建理论：1.数据复制与刷盘策略：2.Broker集群模式：二、磁盘阵列RAID:1.历史：2.等级：3.关键技术：4.分类：5.常见RAID等级：三、集群搭建步骤： 一、集群搭建理论： 1.数据复制与刷盘策略： 2.Broker集群模式： 二、磁盘阵列RAID: 1.历史： 2.等级： 3.关键技术： 4.分类： 5.常见RAID等级： JBOD: RAID0： RAID1: RAID10: RAID01: 三、集群搭建步骤： （1）克
rocketmq 集群搭建 rocketmq最新版本集群，rocketmq双主双从异步集群 rocketmq三台机器集群 虚拟机搭建rocketmq5.1.4集群
求是
11-16 492
2. 准备三台虚拟机机器，分配2g内存。（内存够用可以3g。2g用到了1.7g）：三台机器的/etc/hosts修改 worker1. worker2. worker3。4. 在上篇文章中，设置了虚拟机的第一台服务器。将其中的rocketmq 文件发送到其他两台服务器；1. rocketmq 版本：5.1.4。启动worker3机器节点的broker。启动worker2机器broker。可查看之前文章设置别名的。可以查看我之前的文章。7. worker3机器。worker2机器的。
Rocketmq原理与实战：与Kafka、Rabbitmq的比较及集群部署策略
文章还详细阐述了RocketMQ的集群部署结构，主要包括NameServer、Broker（Master-Slave模式，Master与Slave通过BrokerName和BrokerId区分）和Producer的设计。NameServer负责维护元数据，Broker负责消息存储和路由，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值