集群案例

最新推荐文章于 2024-03-06 14:00:35 发布
最新推荐文章于 2024-03-06 14:00:35 发布
阅读量492 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36345864/article/details/104045544
版权

Top

NSD CLUSTER DAY01

  1. 案例1：ipvsadm命令用法
  2. 案例2：部署LVS-NAT集群
  3. 案例3：部署LVS-DR集群

1 案例1：ipvsadm命令用法

1.1 问题

准备一台Linux服务器，安装ipvsadm软件包，练习使用ipvsadm命令，实现如下功能：

  • 使用命令添加基于TCP一些的集群服务
  • 在集群中添加若干台后端真实服务器
  • 实现同一客户端访问，调度器分配固定服务器
  • 会使用ipvsadm实现规则的增、删、改
  • 保存ipvsadm规则

1.2 方案

安装ipvsadm软件包，关于ipvsadm的用法可以参考man ipvsadm资料。

常用ipvsadm命令语法格式如表-1及表-2所示。

表－1 ipvsadm命令选项

表－2 ipvsadm语法案例

1.3 步骤

实现此案例需要按照如下步骤进行。

步骤一：使用命令增、删、改LVS集群规则

1）创建LVS虚拟集群服务器（算法为加权轮询：wrr）

 
  1. [root@proxy ~]# yum -y install ipvsadm
  2. [root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr
  3. [root@proxy ~]# ipvsadm -Ln
  4. IP Virtual Server version 1.2.1 (size=4096)
  5. Prot LocalAddress:Port Scheduler Flags
  6. -> RemoteAddress:Port Forward Weight ActiveConn InActConn
  7. TCP 192.168.4.5:80 wrr

2）为集群添加若干real server

 
  1. [root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100
  2. [root@proxy ~]# ipvsadm -Ln
  3. IP Virtual Server version 1.2.1 (size=4096)
  4. Prot LocalAddress:Port Scheduler Flags
  5. -> RemoteAddress:Port Forward Weight ActiveConn InActConn
  6. TCP 192.168.4.5:80 wrr
  7. -> 192.168.2.100:80 router 1 0 0
  8. [root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -m -w 2
  9. [root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.201 -m -w 3
  10. [root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.202 -m -w 4

3）修改集群服务器设置(修改调度器算法，将加权轮询修改为轮询)

 
  1. [root@proxy ~]# ipvsadm -E -t 192.168.4.5:80 -s rr
  2. [root@proxy ~]# ipvsadm -Ln
  3. IP Virtual Server version 1.2.1 (size=4096)
  4. Prot LocalAddress:Port Scheduler Flags
  5. -> RemoteAddress:Port Forward Weight ActiveConn InActConn
  6. TCP 192.168.4.5:80 rr
  7. -> 192.168.2.100:80 router 1 0 0
  8. -> 192.168.2.200:80 masq 2 0 0
  9. -> 192.168.2.201:80 masq 2 0 0
  10. -> 192.168.2.202:80 masq 1 0 0

4）修改read server（使用-g选项，将模式改为DR模式）

 
  1. [root@proxy ~]# ipvsadm -e -t 192.168.4.5:80 -r 192.168.2.202 -g

5）查看LVS状态

 
  1. [root@proxy ~]# ipvsadm -Ln

6）创建另一个集群（算法为最少连接算法；使用-m选项，设置工作模式为NAT模式）

 
  1. [root@proxy ~]# ipvsadm -A -t 192.168.4.5:3306 -s lc
  2. [root@proxy ~]# ipvsadm -a -t 192.168.4.5:3306 -r 192.168.2.100 -m
  3. [root@proxy ~]# ipvsadm -a -t 192.168.4.5:3306 -r 192.168.2.200 -m

7）永久保存所有规则

 
  1. [root@proxy ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm

8）清空所有规则

 
  1. [root@proxy ~]# ipvsadm -C

2 案例2：部署LVS-NAT集群

2.1 问题

使用LVS实现NAT模式的集群调度服务器，为用户提供Web服务：

  • 集群对外公网IP地址为192.168.4.5
  • 调度器内网IP地址为192.168.2.5
  • 真实Web服务器地址分别为192.168.2.100、192.168.2.200
  • 使用加权轮询调度算法，真实服务器权重分别为1和2

2.2 方案

实验拓扑结构主机配置细节如表-3所示。

表-3

使用4台虚拟机，1台作为Director调度器、2台作为Real Server、1台客户端，拓扑结构如图-1所示，注意：web1和web2必须配置网关地址。

图-1

2.3 步骤

实现此案例需要按照如下步骤进行。

步骤一：配置基础环境

1）设置Web服务器（以web1为例）

 
  1. [root@web1 ~]# yum -y install httpd
  2. [root@web1 ~]# echo "192.168.2.100" > /var/www/html/index.html

2）启动Web服务器软件

 
  1. [root@web1 ~]# systemctl restart httpd

常见问题：如果httpd服务启动启动的比较慢？

解决方法：可以修改/etc/httpd/conf/httpd.conf文件，

将ServerName www.example.com:80这行的#注释符删除即可。

步骤二：部署LVS-NAT模式调度器

1)确认调度器的路由转发功能(如果已经开启，可以忽略)

 
  1. [root@proxy ~]# echo 1 > /proc/sys/net/ipv4/ip_forward
  2. [root@proxy ~]# cat /proc/sys/net/ipv4/ip_forward
  3. 1
  4. [root@proxy ~]# echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
  5. #修改配置文件，设置永久规则

2）创建集群服务器

 
  1. [root@proxy ~]# yum -y install ipvsadm
  2. [root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr

3）添加真实服务器

 
  1. [root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100 -w 1 -m
  2. [root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -w 1 -m

4）查看规则列表，并保存规则

 
  1. [root@proxy ~]# ipvsadm -Ln
  2. [root@proxy ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm

步骤三：客户端测试

客户端使用curl命令反复连接http://192.168.4.5，查看访问的页面是否会轮询到不同的后端真实服务器。

3 案例3：部署LVS-DR集群

3.1 问题

使用LVS实现DR模式的集群调度服务器，为用户提供Web服务：

  • 客户端IP地址为192.168.4.10
  • LVS调度器VIP地址为192.168.4.15
  • LVS调度器DIP地址设置为192.168.4.5
  • 真实Web服务器地址分别为192.168.4.100、192.168.4.200
  • 使用加权轮询调度算法，web1的权重为1，web2的权重为2

说明：

CIP是客户端的IP地址；

VIP是对客户端提供服务的IP地址；

RIP是后端服务器的真实IP地址；

DIP是调度器与后端服务器通信的IP地址（VIP必须配置在虚拟接口）。

3.2 方案

使用4台虚拟机，1台作为客户端、1台作为Director调度器、2台作为Real Server，拓扑结构如图-2所示。实验拓扑结构主机配置细节如表-4所示。

图-2

表-4

3.3 步骤

实现此案例需要按照如下步骤进行。

说明：

CIP是客户端的IP地址；

VIP是对客户端提供服务的IP地址；

RIP是后端服务器的真实IP地址；

DIP是调度器与后端服务器通信的IP地址（VIP必须配置在虚拟接口）。

步骤一：配置实验网络环境

1）设置Proxy服务器的VIP和DIP

注意：为了防止冲突，VIP必须要配置在网卡的虚拟接口！！！

 
  1. [root@proxy ~]# cd /etc/sysconfig/network-scripts/
  2. [root@proxy ~]# cp ifcfg-eth0{,:0}
  3. [root@proxy ~]# vim ifcfg-eth0:0
  4. TYPE=Ethernet
  5. #网卡类型为：以太网卡
  6. BOOTPROTO=none
  7. #none手动配置IP，或者dhcp自动配置IP
  8. NAME=eth0:0
  9. #网卡名称
  10. DEVICE=eth0:0
  11. #设备名称
  12. ONBOOT=yes
  13. #开机时是否自动激活该网卡
  14. IPADDR=192.168.4.15
  15. #IP地址
  16. PREFIX=24
  17. #子网掩码
  18. [root@proxy ~]# systemctl restart network
  19. [root@proxy ~]# ifconfig

常见问题：RHEL7和Centos7系统中有两个管理网络的服务，有可能冲突？

解决方法：关闭NetworkManager服务后重启network即可。

2）设置Web1服务器网络参数

 
  1. [root@web1 ~]# nmcli connection modify eth0 ipv4.method manual \
  2. ipv4.addresses 192.168.4.100/24 connection.autoconnect yes
  3. [root@web1 ~]# nmcli connection up eth0

接下来给web1配置VIP地址。

注意：这里的子网掩码必须是32（也就是全255），网络地址与IP地址一样，广播地址与IP地址也一样。

 
  1. [root@web1 ~]# cd /etc/sysconfig/network-scripts/
  2. [root@web1 ~]# cp ifcfg-lo{,:0}
  3. [root@web1 ~]# vim ifcfg-lo:0
  4. DEVICE=lo:0
  5. IPADDR=192.168.4.15
  6. NETMASK=255.255.255.255
  7. NETWORK=192.168.4.15
  8. BROADCAST=192.168.4.15
  9. ONBOOT=yes
  10. NAME=lo:0

防止地址冲突的问题：

这里因为web1也配置与调度器一样的VIP地址，默认肯定会出现地址冲突；

sysctl.conf文件写入这下面四行的主要目的就是访问192.168.4.15的数据包，只有调度器会响应，其他主机都不做任何响应，这样防止地址冲突的问题。

 
  1. [root@web1 ~]# vim /etc/sysctl.conf
  2. #手动写入如下4行内容
  3. net.ipv4.conf.all.arp_ignore = 1
  4. net.ipv4.conf.lo.arp_ignore = 1
  5. net.ipv4.conf.lo.arp_announce = 2
  6. net.ipv4.conf.all.arp_announce = 2
  7. #当有arp广播问谁是192.168.4.15时，本机忽略该ARP广播，不做任何回应
  8. #本机不要向外宣告自己的lo回环地址是192.168.4.15
  9. [root@web1 ~]# sysctl -p

重启网络服务，设置防火墙与SELinux

 
  1. [root@web1 ~]# systemctl restart network
  2. [root@web1 ~]# ifconfig

常见错误：如果重启网络后未正确配置lo:0，有可能是NetworkManager和network服务有冲突，关闭NetworkManager后重启network即可。（非必须的操作）

 
  1. [root@web1 ~]# systemctl stop NetworkManager
  2. [root@web1 ~]# systemctl restart network

3）设置Web2服务器网络参数

 
  1. [root@web2 ~]# nmcli connection modify eth0 ipv4.method manual \
  2. ipv4.addresses 192.168.4.200/24 connection.autoconnect yes
  3. [root@web2 ~]# nmcli connection up eth0

接下来给web2配置VIP地址

注意：这里的子网掩码必须是32（也就是全255），网络地址与IP地址一样，广播地址与IP地址也一样。

 
  1. [root@web2 ~]# cd /etc/sysconfig/network-scripts/
  2. [root@web2 ~]# cp ifcfg-lo{,:0}
  3. [root@web2 ~]# vim ifcfg-lo:0
  4. DEVICE=lo:0
  5. IPADDR=192.168.4.15
  6. NETMASK=255.255.255.255
  7. NETWORK=192.168.4.15
  8. BROADCAST=192.168.4.15
  9. ONBOOT=yes
  10. NAME=lo:0

防止地址冲突的问题：

这里因为web1也配置与调度器一样的VIP地址，默认肯定会出现地址冲突；

sysctl.conf文件写入这下面四行的主要目的就是访问192.168.4.15的数据包，只有调度器会响应，其他主机都不做任何响应，这样防止地址冲突的问题。

 
  1. [root@web2 ~]# vim /etc/sysctl.conf
  2. #手动写入如下4行内容
  3. net.ipv4.conf.all.arp_ignore = 1
  4. net.ipv4.conf.lo.arp_ignore = 1
  5. net.ipv4.conf.lo.arp_announce = 2
  6. net.ipv4.conf.all.arp_announce = 2
  7. #当有arp广播问谁是192.168.4.15时，本机忽略该ARP广播，不做任何回应
  8. #本机不要向外宣告自己的lo回环地址是192.168.4.15
  9. [root@web2 ~]# sysctl -p

重启网络服务，设置防火墙与SELinux

 
  1. [root@web2 ~]# systemctl restart network
  2. [root@web2 ~]# ifconfig

常见错误：如果重启网络后未正确配置lo:0，有可能是NetworkManager和network服务有冲突，关闭NetworkManager后重启network即可。（非必须的操作）

 
  1. [root@web1 ~]# systemctl stop NetworkManager
  2. [root@web1 ~]# systemctl restart network

步骤二：proxy调度器安装软件并部署LVS-DR模式调度器

1）安装软件（如果已经安装，此步骤可以忽略）

 
  1. [root@proxy ~]# yum -y install ipvsadm

2）清理之前实验的规则，创建新的集群服务器规则

 
  1. [root@proxy ~]# ipvsadm -C #清空所有规则
  2. [root@proxy ~]# ipvsadm -A -t 192.168.4.15:80 -s wrr

3）添加真实服务器(-g参数设置LVS工作模式为DR模式，-w设置权重)

 
  1. [root@proxy ~]# ipvsadm -a -t 192.168.4.15:80 -r 192.168.4.100 -g -w 1
  2. [root@proxy ~]# ipvsadm -a -t 192.168.4.15:80 -r 192.168.4.200 -g -w 1

4）查看规则列表，并保存规则

 
  1. [root@proxy ~]# ipvsadm -Ln
  2. TCP 192.168.4.15:80 wrr
  3. -> 192.168.4.100:80 Route 1 0 0
  4. -> 192.168.4.200:80 Route 2 0 0

步骤三：客户端测试

客户端使用curl命令反复连接http://192.168.4.15，查看访问的页面是否会轮询到不同的后端真实服务器。

扩展知识：默认LVS不带健康检查功能，需要自己手动编写动态检测脚本，实现该功能：(参考脚本如下，仅供参考)

 
  1. [root@proxy ~]# vim check.sh
  2. #!/bin/bash
  3. VIP=192.168.4.15:80
  4. RIP1=192.168.4.100
  5. RIP2=192.168.4.200
  6. while :
  7. do
  8. for IP in $RIP1 $RIP2
  9. do
  10.      curl -s http://$IP &>/dev/vnull
  11. if [ $? -eq 0 ];then
  12. ipvsadm -Ln |grep -q $IP || ipvsadm -a -t $VIP -r $IP
  13. else
  14. ipvsadm -Ln |grep -q $IP && ipvsadm -d -t $VIP -r $IP
  15. fi
  16. done
  17. sleep 1
  18. done
我爱DC
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
集群案例研究
02-13
集群案例研究
Hadoop集群实例
weixin_44087886的博客
05-21 851
一、基础环境 Hadoop是用Java开发的，Hadoop的编译及MapReduce的运行都需要使用JDK。 Hadoop需要通过SSH来启动salve列表中各台主机的守护进程，因此SSH也是必须安装的，即使是安装伪分布式版本(因为Hadoop并没有区分集群式和伪分布式)。对于伪分布式，Hadoop会采用与集群相同的处理方式，即依次序启动文件conf/slaves中记载的主机上的进程，只不过伪分...
zookeeper集群搭建示例
疯狂的蜗牛
03-24 426
zookeeper集群搭建下载zookeeperzookeeper配置启动节点客户端连接集群集群高可用测试 下载zookeeper 参考通过Zookeeper实现分布式锁示例 zookeeper配置 将zookeeper的安装包解压后复制三份，或者你准备三个配置文件即可，今天我们将搭建一个三节点的zookeeper集群： 配置如下： 节点1： # The number of milliseconds of each tick tickTime=2000 # The number of ticks that
lvs集群介绍
最新发布
zk584715834的博客
03-06 1117
Cluster：集群,为解决某个特定问题将多台计算机组合起来形成的单个系统。由多台主机构成，但对外只能表现为一个整体，只提供一个访问入口（域名或者ip地址），相当于一个大型计算机。
大白话解释什么是集群(举生活中最通俗易懂的案例)
程宇寒
04-29 2499
大白话解释什么是集群(举生活中最通俗易懂的案例) 举列场景：招商银行办理业务 2019年04月29号，招商银行门口来了30个人办理业务 此时，招商银行的柜台只有一个窗口，一个银行职员，然后该窗口里的银行职员就开始给这30个客户办理业务，2个小时过去了，该窗口的银行职员只给5个客户办完了业务，还有25个客户还在排队焦急的等待着。 一个窗口就是单机/单个...
Redis集群（二）——利用多实例搭建Redis集群模式
小柏ぁ的博客
12-13 1423
集群 集群，即Redis Cluster，是Redis 3.0开始引入的分布式存储方案。 集群由多个节点(Node)组成，Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点:只有主节点负责读写请求和集群信息的维护;从节点只进行主节点数据和状态信息的复制。 集群的作用,可以归纳为两点: 1、数据分区:数据分区(或称数据分片)是集群最核心的功能。集群将数据分散到多个节点，一方面突破了Redis单机内存大小的限制，存储容量大大增加;另一方面每个...
大数据集群的部署实例
不断学习，不断进步，提高自己
05-24 1834
集群可以提高系统性能、提高可用性和增强灵活性，能很好完成复杂的任务。本篇重点介绍CentOS集群系统及部署，以及SSH安全登录及配置。 01、集群规划 为了简化操作，使用三台服务器作为集群节点，其中一台为Master节点，两台为Slave节点。集群节点IP规划如下： master：172.30.0.10 slave1：172.30.0.11 slave2：172.30.0.12 netmask: 255.255.255.0 gateway：172.30.0.254 02、网络配置 对集群节点..
tomcat 集群案例
05-28
包含所有配置 直接拷贝部署就能搭建tomcat 集群
Redis集群案例与场景分析
02-25
想当年Redis的单点单线程特性无法满足我们日益壮大的系统，只能硬着头皮把Redis“集群化”负载。且这套“集群化”方案良好地运行至今。虽难度不高，胜在简单和实用。无论简单还是很简单，记录这种经历是一件非常有趣...
Tomcat集群案例
07-13
但是这些东西一旦运用于集群环境就需要在设计的时候就要考虑到、否则真是有解决不完的问题接踵而来，该实现序列化的要实现，单例模式、静态变量、线程同步、定时器重复执行，缓存增删更新通知问题、使用的时候就...
分布式和集群例子理解
Ha_Pipi的博客
07-24 535
小饭店原来只有一个厨师，切菜洗菜备料炒菜全干。后来客人多了，厨房一个厨师忙不过来，又请了个厨师，两个厨师都能炒一样的菜，这两个厨师的关系是集群。为了让厨师专心炒菜，把菜做到极致，又请了个配菜师负责切菜，备菜，备料，厨师和配菜师的关系是分布式，一个配菜师也忙不过来了，又请了个配菜师，两个配菜师关系是集群
linux运维,web集群实战(中文高清完整版)
04-14
资深运维架构实战专家及教育培训界顶尖专家十多年的运维实战经验总结，系统讲解网站集群架构的框架模型以及各个节点的企业级搭建和优化。, 实战性强，不仅讲解了web集群所涉及的各种技术，还针对整个集群中的每个网络服务节点给出解决方案，并指导你细致掌握web集群的运维规范和方法。
集群搭建实例总结
似水流年
11-02 1580
一:搭建集群关键词: 服务器 :内存 硬盘 CPU 显示屏 网线(光纤) 机柜(机架) 外设(如键盘鼠标等) 交换机 预备电源(备用电源以防意外断电) 二 选择服务器考虑因素: 服务器的类型一般机架式,塔式,刀片式三种 一台服务器的内存至少32GB商业常用为64 128 256居多,硬盘最大容量,一般十几到二十几GB大小,CPU个数,2或者4颗居多,接口类型 一般为
常用集群架构实战练习篇
weixin_34383618的博客
11-07 177
一、简介企业中常用的web架构主要的目的是实现高可用及其容灾备份，说白了就是让用户有更好的用提体验，一个架构的可用性只有在经历过上线后接受用户的使用才能体现出其稳定性及其不足之处。利用周末的时间出于无聊，所以想总结以前所学的知识，本文主要介绍lvs,keepalived,nginx-proxy,等常用服务的搭建及其原理。二、lvs概述及NAT、...
Mysql集群搭建（多实例、主从）
热门推荐
qq_21153619的博客
08-09 14万+
目录 1 MySQL多实例 一 、MySQL多实例介绍 1、什么是MySQL多实例 2、MySQL多实例的特点有以下几点 3、部署mysql多实例的两种方式 4、同一开发环境下安装多个数据库，必须处理以下问题 2 mysql多实例搭建 一、mysqld_multi搭建 1、下载免编译二进制包 2、解压和迁移 3、关闭iptables 4、关闭selinux 5、创建mys...
Redis集群（实例组建集群）
宇龙的博客
07-19 369
Redis集群（实例组建集群） 1.下载安装redis。（selinux关闭） ####下载并解压 [root@yulong-redis ~]# wget -c http://download.redis.io/releases/redis-5.0.7.tar.gz [root@yulong-redis ~]# tar zxvf redis-5.0.7.tar.gz -C /usr/src/ [root@yulong-redis src]# cd /usr/src/redis-5.0.7/ ####编
kafka集群实例
bit-cafe
04-02 1943
使用kafka我们需要先安装zookeeper、kafka其中zookeeper的安装可以参考这篇文章：点击打开链接，而kafka的安装很简单，只需要解压缩包就可以了，所以这里就不说了，如果不会就google、百度！！！ 废话少说来看代码： 一、
Quartz集群原理及配置应用
weixin_34345560的博客
08-25 447
1、Quartz任务调度的基本实现原理 　　Quartz是OpenSymphony开源组织在任务调度领域的一个开源项目，完全基于Java实现。作为一个优秀的开源调度框架，Quartz具有以下特点： 　　　　（1）强大的调度功能，例如支持丰富多样的调度方法，可以满足各种常规及特殊需求； 　　　　（2）灵活的应用方式，例如支持任务和调度的多种组合方式，支持调度数据的多种存储方式； 　　　　（3...
redis5.0集群搭建实例
进化的深山猿
04-12 1859
Redis Cluster的架构图 (1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽. (2)节点的fail是通过集群中超过半数的节点检测失效时才生效. (3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。 (4)redis-cluster把所有的物理节点映射到[0-1638...
redis集群优化案例
10-14
Redis集群优化案例： 1. 使用Redis Cluster模式：Redis Cluster是Redis官方提供的分布式解决方案，可以自动将数据分片到多个节点上，提高了Redis的可用性和扩展性。 2. 合理设置数据过期时间：对于一些不需要长期存储的数据，可以设置合理的过期时间，避免占用过多内存。 3. 使用Pipeline批量操作：Pipeline可以将多个命令打包成一个请求发送给Redis，减少网络开销和服务器负载。 4. 合理使用内存淘汰策略：根据业务场景选择合适的内存淘汰策略，如LRU、LFU等。 5. 避免频繁的大数据量查询：对于一些需要查询大量数据的操作，可以考虑使用分页或者增量查询等方式，避免一次性查询大量数据导致Redis负载过高。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值