关于LVS的部署、案例、以及常见问题分析

最新推荐文章于 2024-10-14 16:12:17 发布
最新推荐文章于 2024-10-14 16:12:17 发布
阅读量3.2k 收藏 10
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40470303/article/details/80556345
版权

一、LVS的部署

LVS现在已经集成在linux内核模块中，但整个LVS环境又分为内核层和用户层，内核层负责核心算法的实现，用户层需要安装ipvsadm工具，通过命令行将管理员需要的工作模式与实现算法传递给内核来实现。LVS的内核名称为ip_vs，命令行工具在Centos6.3（以及以上的版本）光盘中已经自带，我们可以使用YUM方式安装ipvsadm，也可以自行到官网下载使用源码安装。 

1.源码安装

源码安装软件前需要使用YUM安装相关的依赖软件包。ipvsadm源码软件可以从官方网站下载，下载后使用的标准的make、make install，编译、安装即可。

[root@server0 ~]# yum -y install gcc popt-devel popt-static libnl libnl-devel

[root@server0 ~]# wget http://www.linuxvirtualsever.org/software/kernel-2.6/ipvsadm-1.26.tar.gz

[root@server0 ~]# tar -zxvf ipvsadm-1.26.tar.gz -C /usr/src/

[root@server0 ~]# cd /usr/src/ipvsadm-1.26

[root@server0 ~]# make

[root@server0 ~]# make install

2.YUM安装

YUM安装需要确保本机可以连接YUM源，可以从YUM源中下载RPM格式软件包。

[root@server0 ~]# yum - y install ipvsadm

无论使用哪种方式安装ipvsadm软件，安装完成后都会生成一个同名的命令工具，我们需要是应该命令来管理配置LVS虚拟服务器组和相应的调度算法。

二、ipvsadm 命令的描述和用法

描述：Linux虚拟服务器管理工具。

用法：ipvsadm   选项     服务器地址  -s   算法

          ipvsadm   选项     服务器地址  -r   真实服务器地址   [工作模式] [权重] ...

选项：

-A    添加一个虚拟服务，使用IP地址、端口号、协议来唯一定义一个虚拟服务

-E    编辑一个虚拟服务

-D    删除一个虚拟服务

-C    清空虚拟服务列表

-R    从标准输入中还原虚拟服务规则

-S    保存虚拟服务规则至标准输出，输出的规则可以使用-R导入还原

-a     在虚拟服务中添加一台真实服务器

-e     在虚拟服务中编辑一台真实服务器

-d     在虚拟服务中减少一台真实服务器

-L     显示虚拟服务列表

-t     使用TCP服务，该参数后需要跟主机与端口信息

-u    使用UDP服务，该参数后需要跟主机与端口信息

-s     指定LVS采用的调度算法

-r     设置真实服务器IP地址与端口信息

-g    设置LVS工作模式为DR直连路由模式

-i     设置LVS工作模式为TUN隧道模式

-m   设置LVS工作模式为NAT地址转换模式

-w    设置指定服务器的权重

-c     连接状态，需要配合-L使用

-n     数字格式输出

三、LVS负载均衡应用案例

案例1：基于NAT工作模式的负载均衡

服务器IP地址设置见表1 。所有访问lvs.example.com 这台主机的VIP地址的80端口的请求数据包都将被均衡地调度到三台真实的服务器上。


LVS负载均衡调度器的设置。首先，需要为整个拓扑环境设置网络参数，案例中使用静态IP地址的方式配置网络，由于LVS调度器使用了两块网卡，这里需要修改ifcfg-eth0以及ifcfg-eth1两块网卡配置文件。

[root@lvs ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

BOOTPROTO=static

ONBOOT=yes 

TYPE=Ethernet

IPADDR=192.168.0.254

NETMASK=255.255.255.0

DNS1=202.106.0.20

[root@lvs ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth1

DEVICE=eth1

BOOTPROTO=static

ONBOOT=yes 

TYPE=Ethernet

IPADDR=124.126.147.168

NETMASK=255.255.255.240

GATEWAY=124.126.147.169

DNS1=202.106.0.20

[root@lvs ~]# service network restart       #重启网络服务

[root@lvs ~]# yum -y install ipvsadm       #安装ipvsadm命令工具

使用ipvsadm命令工具添加一个虚拟服务，并为该虚拟服务设置一组具体的后端服务器主机和虚拟服务的调度算法。

[root@lvs ~]# ipvsadm -A -t 124.126.147.168:80 -s rr

[root@lvs ~]# ipvsadm -a -t 124.126.147.168:80 -r 192.168.0.1:80 -m

[root@lvs ~]# ipvsadm -a -t 124.126.147.168:80 -r 192.168.0.2:80 -m

[root@lvs ~]# ipvsadm -a -t 124.126.147.168:80 -r 192.168.0.3:80 -m

[root@lvs ~]# service ipvsadm save                      #保存调度规则

[root@lvs ~]# sed -l /ip_forward/s/0/1  /etc/sysctl.conf    #开启路由转发功能

[root@lvs ~]# sysctl -p                    #重新加载sysctl.conf

[root@lvs ~]# iptables -F

[root@lvs ~]# iptables -X

[root@lvs ~]# service iptables save

后端真实服务器设置（这里为了可以验证调度器每次选取的是不同的服务器，我们将每个真实web服务器的页面内容设置为不同内容，而真实生产环境中所有的Web服务器都应该提供相同的页面内容）。与LVS调度器主机一样，首先要根据实际的网络环境为真实服务器设置网络参数，通过修改ifcfg-eth0即可实现。

[root@web1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

BOOTPROTO=static

ONBOOT=yes 

TYPE=Ethernet

IPADDR=192.168.0.1

NETMASK=255.255.255.0

GATEWAY=192.168.0.254

由于LVS调度器会将请求转发给后端真实服务器，所以所有的后端服务器都需要配置Web服务。为了使得内容结构简单、突出实验目的，本次案例仅生成一个测试用页面文件index.html 。

[root@web1 ~]# yum -y install httpd

[root@web1 ~]# service httpd start

[root@web1 ~]# service network restart

[root@web1 ~]# echo "192.168.0.1" > /var/www/html/index.html

[root@web1 ~]# iptables -F 

[root@web1 ~]# iptables -X 

[root@web1 ~]# service iptables save

下面web2 与 web3服务器主机的具体操作步骤。因为都承担着后端真实服务器的角色，所以操作步骤与web1 主机基本一致，IP地址等细致问题需要根据环境的实际情况进行修改。

[root@web2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

BOOTPROTO=static

ONBOOT=yes 

TYPE=Ethernet

IPADDR=192.168.0.2

NETMASK=255.255.255.0

GATEWAY=192.168.0.254

[root@web2 ~]# yum -y install httpd

[root@web2 ~]# service httpd start

[root@web2 ~]# service network restart

[root@web2 ~]# echo "192.168.0.2" > /var/www/html/index.html

[root@web2 ~]# iptables -F 

[root@web2 ~]# iptables -X 

[root@web2 ~]# service iptables save

[root@web3 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

BOOTPROTO=static

ONBOOT=yes 

TYPE=Ethernet

IPADDR=192.168.0.3

NETMASK=255.255.255.0

GATEWAY=192.168.0.254

[root@web3 ~]# yum -y install httpd

[root@web3 ~]# service httpd start

[root@web3 ~]# service network restart

[root@web3 ~]# echo "192.168.0.3" > /var/www/html/index.html

[root@web3 ~]# iptables -F 

[root@web3 ~]# iptables -X 

[root@web3 ~]# service iptables save

验证：

客户端可是使用浏览器访问http://124.126.147.168,最终可以访问到真实服务器所提供的页面内容，由于LVS采用RR（轮询）调度算法，所以不同的连接请求将被平均分配到不同的后端服务器上。本例中由于采用所有的页面都不相同，所以不同的客户端访问http://124.126.147.168 后将得到不同的页面内容。

案例2：基于DR工作模式的负载均衡

服务器IP地址设置见表2.所有访问lvs.example.com这台主机的VIP地址（124.126.147.168）的80端口都将被均衡地调度到三台真实的服务器上。真实的服务器在收到调度器转发过来的请求后直接通过Router路由器发送响应数据给客户端，这里要求所有真实服务器的网关地址指向Router的内网IP地址，由于调度器有真实服务器都设置了VIP地址，所以要求真实服务器在Non-ARP设置上配置VIP地址。本次案例使用的所有服务器均为Linux操作系统，我们使用Linux来承担软路由的功能。


LVS负载均衡调度器设置，首先部署网络拓扑环境，修改网卡配置文件。

[root@lvs ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

BOOTPROTO=static

ONBOOT=yes 

TYPE=Ethernet

IPADDR=124.126.147.168

NETMASK=255.0.0.0

DNS1=202.106.0.20

[root@lvs ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth1

DEVICE=eth1

BOOTPROTO=static

ONBOOT=yes 

TYPE=Ethernet

IPADDR=192.168.0.254

NETMASK=255.255.255.0

DNS1=202.106.0.20

[root@lvs ~]# service network restart       #重启网络服务

[root@lvs ~]# yum -y install ipvsadm       #安装ipvsadm命令工具

使用ipvsadm命令工具添加一个虚拟服务，并为该虚拟服务设置一组具体的后端服务器主机和虚拟服务的调度算法。

[root@lvs ~]# ipvsadm -A -t 124.126.147.168:80 -s wrr

[root@lvs ~]# ipvsadm -a -t 124.126.147.168:80 -r 192.168.0.1:80 -g -w 1

[root@lvs ~]# ipvsadm -a -t 124.126.147.168:80 -r 192.168.0.2:80 -g -w 2

[root@lvs ~]# ipvsadm -a -t 124.126.147.168:80 -r 192.168.0.3:80 -g -w 3

[root@lvs ~]# service ipvsadm save                      #保存调度规则

[root@lvs ~]# iptables -F

[root@lvs ~]# iptables -X

[root@lvs ~]# service iptables save

真实web服务器设置如下（这里为了可以验证调度器每次选取的是不同的服务器，我们将每个真实web服务器的页面内容设置为不同内容，而真实生产环境中所有的Web服务器都应该提供相同的页面内容）。注意，因为调度器与真实服务器都设置了VIP地址，所以这里都要求所有的真实服务器要禁止对VIP地址的ARP响应，方法是通过arp_ignore 与 arp_announce来实现的：

[root@web1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

BOOTPROTO=static

ONBOOT=yes 

TYPE=Ethernet

IPADDR=192.168.0.1

NETMASK=255.255.255.0

GATEWAY=192.168.0.253

[root@web1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-lo:0

DEVICE=lo:0

BOOTPROTO=static

ONBOOT=yes 

TYPE=Ethernet

IPADDR=124.126.147.168

NETMASK=255.255.255.255

GATEWAY=192.168.0.253

[root@web1 ~]# vim /etc/sysctl.conf

net.ipv4.conf.eth0.arp_ignore = 1

net.ipv4.conf.eth0.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

[root@web1 ~]# sysctl -p 

[root@web1 ~]# yum -y install httpd

[root@web1 ~]# service httpd start 

[root@web1 ~]# service network restart 

[root@web1 ~]# echo "192.168.0.1" > /var/www/html/index.html

[root@web1 ~]# iptables -F

[root@web1 ~]# iptables -X

[root@web1 ~]# service iptables save

[root@web2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

BOOTPROTO=static

ONBOOT=yes 

TYPE=Ethernet

IPADDR=192.168.0.2

NETMASK=255.255.255.0

GATEWAY=192.168.0.253

[root@web2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-lo:0

DEVICE=lo:0

BOOTPROTO=static

ONBOOT=yes 

TYPE=Ethernet

IPADDR=124.126.147.168

NETMASK=255.255.255.255

GATEWAY=192.168.0.253

[root@web2 ~]# vim /etc/sysctl.conf

net.ipv4.conf.eth0.arp_ignore = 1

net.ipv4.conf.eth0.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

[root@web2 ~]# sysctl -p 

[root@web2 ~]# yum -y install httpd

[root@web2 ~]# service httpd start 

[root@web2 ~]# service network restart 

[root@web2 ~]# echo "192.168.0.2" > /var/www/html/index.html

[root@web2 ~]# iptables -F

[root@web2 ~]# iptables -X

[root@web2 ~]# service iptables save

[root@web3 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

BOOTPROTO=static

ONBOOT=yes 

TYPE=Ethernet

IPADDR=192.168.0.3

NETMASK=255.255.255.0

GATEWAY=192.168.0.253

[root@web3 ~]# vim /etc/sysconfig/network-scripts/ifcfg-lo:0

DEVICE=lo:0

BOOTPROTO=static

ONBOOT=yes 

TYPE=Ethernet

IPADDR=124.126.147.168

NETMASK=255.255.255.255

GATEWAY=192.168.0.253

[root@web3 ~]# vim /etc/sysctl.conf

net.ipv4.conf.eth0.arp_ignore = 1

net.ipv4.conf.eth0.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

[root@web3 ~]# sysctl -p 

[root@web3 ~]# yum -y install httpd

[root@web3 ~]# service httpd start 

[root@web3 ~]# service network restart 

[root@web3 ~]# echo "192.168.0.3" > /var/www/html/index.html

[root@web3 ~]# iptables -F

[root@web3 ~]# iptables -X

[root@web3 ~]# service iptables save

路由器（Router）采用Linux作为软件路由来实现本例，具体操作如下。

[root@router ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

BOOTPROTO=static

ONBOOT=yes 

TYPE=Ethernet

IPADDR=192.168.0.253

NETMASK=255.255.255.0

[root@router ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth1

DEVICE=eth1

BOOTPROTO=static

ONBOOT=yes 

TYPE=Ethernet

IPADDR=124.126.147.168

NETMASK=255.0.0.0

NETMASK=255.255.255.0

[root@router ~]# vim /etc/sysctl.conf

net.ipv4.ip_forward = 1

[root@router ~]# sysctl -p 

[root@router ~]# service network restart 

[root@router ~]# iptables -F

[root@router ~]# iptables -X

[root@router ~]# service iptables save

验证：

客户端使用浏览器访问http://124.126.147.168,最终可以访问到真实服务器所提供的页面内容，由于LVS采用WRR（加权轮询）调度算法，不同的连接请求将被分配到不同的后端服务器上，但服务器之间的优先级不同，本例中由于所有的页面内容都不相同，所以客户端多次访问后将得到不同页面内容。

四、常见的问题分析

1.路由转发功能。

在LVS（NAT）工作模式中，LVS调度器必须能够提供数据转发功能，而Centos6.3系统默认的规则没有开启路由转发功能，需要手动修改/etc/sysctl.conf 文件开启该功能。

2.在LVS（NAT）工作模式中，调度器除了担当调度角色外，还需要担当路由的角色，但Centos6.3系统的防火墙转发规则默认为禁止转发，因此需要将准发规则清空，具体操作如下

[root@lvs ~]# iptables -F

[root@lvs ~]# iptables -X

[root@lvs ~]# service iptables save

3.在LVS（DR）工作模式下，由于所有的真实服务器都配置了VIP地址，因此需要设置服务器不进行针对VIP地址的ARP广播，Linux中可以直接通过arp_ignore与arp_announce 来实现。

arp_ignore 用来定义网卡在响应外部ARP请求时的响应级别。

  0：默认值，任何网络接口接收到ARP请求后，如果本机的任意接口有该MAC，则予以响应。

  1：某个网络接口收到ARP请求后，判断请求的MAC地址是否是本地接口，是则回应，否则不回应。LVS调度器会将客户请求转发给真实服务器的eth0接口，而真实服务器的VIP地址配置在本地回环设备上。

arp_announce 用来定义网卡广播ARP包时的级别。

  0：默认值，任何网络接口接收到ARP请求后，如果本机的任意接口有该MAC，则予以响应。

  1： 尽量避免响应MAC地址非本地网络接口MAC地址的ARP请求。

  2： 不响应MAC地址非本地网络接口MAC地址的ARP请求。




chenhuyang
关注
2022系统分析师--案例必备知识点汇总
喜欢猪猪
06-11 2139
2022年-系统分析师案例分析的知识点整理
Web服务器群集——企业级调度器LVS（LVS-NAT；LVS-DR负载均衡群集部署）
Cantevenl的博客
04-03 5224
企业级调度器LVS（LVS-NAT；LVS-DR负载均衡群集部署）企业级调度器LVS（Linux Virtual Server）集群和分布式1.1 集群 Cluster1.2 分布式系统1.3 集群和分布式1.4 集群设计原则1.5 集群设计实现1.5.1 基础设施层面1.5.2 业务层面1.6 LB Cluster 负载均衡集群1.6.1 按实现方式划分1.6.2 基于工作的协议层次划分1.6.3 负载均衡的会话保持1.7 HA Cluster 高可用集群实现1.8 HPC Cluster 高性能运算群集
LVS的使用
qq_45737059的博客
09-30 796
一、lvs简介 LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器，比如，轮询算法可以将外部的请求平均分发给后端的所有服务器，终端用户访问LVS调度器虽然会被转发到后...
lvs部署及使用
博客
09-29 1418
Lvs是linux vitual server 的简介，即linux 虚拟服务器，是一个虚拟的服务器群集系统。此项目在1998年5月有章文嵩博士成立，是国内最早出现的自由软件项目之一，是根据iptables的实现来开发的，所以使用的时候会和iptables相类似NAT模式（网络地址映射）IP TUN模式（IP Tunneling IP隧道）DR （Direct Routing 直接路由）不同的转发模式决定了不同的网络结构。
负载均衡（中） LVS服务、模式及特点
最新发布
IT瑞先生
10-14 757
LVS
LVS集群及其配置实例
北雨南萍
01-04 1229
一、集群系统(Cluster)主要解决下面几个问题： 高可靠性（HA）:     利用集群管理软件，当主服务器故障时，备份服务器能够自动接管主服务器的工作，   并及时切换过去，以实现对用户的不间断服务。 高性能计算（HP）:   即充分利用集群中的每一台计算机的资源，实现复杂运算的并行处理，   通常用于科学计算领域，比如基因分析，化学分析等。 负载平衡:    即把负载压力根据
LVS简介及配置案例
weixin_33894640的博客
10-09 88
一、简介 LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的 服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由 软件项目之一。LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很 好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的 故障，从...
LVS主从部署配置和使用
weixin_34336292的博客
12-06 239
　　LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。 　　LVS是Linux Virtual Server的简称，也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目，它的官方站点是www.linuxvirtualserver.org。现在LV...
LVS HA应用案例解析与性能调优实战
在“关于LVS的几个小认识”部分，可能涉及对LVS的一些误解或常见误区的澄清，帮助读者更全面理解LVS的工作原理和最佳实践。 最后，文档着重于LVS的性能调优和监控，这是确保系统高效运行的关键环节。性能调优可能...
部署LVS-DR集群
朝闻微风的博客
05-31 270
部署LVS-DR集群 使用LVS实现DR模式的集群调度服务器，为用户提供Web服务 客户端IP地址为192.168.4.10 LVS调度器VIP地址为192.168.4.15 LVS调度器DIP地址设置为192.168.4.5 真实Web服务器地址分别为192.168.4.100、192.168.4.200 使用加权轮询调度算法，权重可以任意 CIP是客户端的IP地址； VIP是对客户端提供服务的IP地址； RIP是后端服务器的真实IP地址； DIP是调度器与后端服务器通信的IP地址（V
WEB集群实现LVS负载均衡+域名解析 经典案例——详解
m0_50019871的博客
11-10 2625
实现WEB上线并实现负载均衡+域名解析项目介绍项目流程图项目实际操作先安装FTP安装docker-ceLVS负载均衡DNS域名解析Mail邮件报警 项目介绍 项目流程图 项目实际操作 记得要关掉防火墙和SELINUX 先安装FTP 注意这里要创建一个普通用户并设置密码，通常来讲我们root用户是个运维人员操作的，防止程序员和访客误操作！！ yum -y install vsftpd systemctl start vsftpd vim /etc/vsftpd/vsftpd.conf anon_mkdir
LVS之部署实战
kuangfeng的博客
06-28 3425
lvs软件包的介绍，LVS实战，NAT模式，DR模式，LVS/DR+keepalive。
LVS四层负载均衡规划及部署
RAB
10-11 1046
LVS四层负载均衡规划及部署。
负载均衡群集之LVS-DR的部署应用
m0_67062351的博客
06-13 107
负载均衡
LVS几种模式的部署
sjc090132的博客
09-13 730
LVS几种集群
系统运维——LVS的详解与实战
TYW0823的博客
08-11 849
本文以集群和分布式这两个计算机领域中的重要概念入手，引入 LVS 在服务器集群系统中的职能及应用。包括 LVS 的概念简介、工作模式（lvs-nat、lvs-dr、lvs-tun、lvs-fullnat）、调度算法、部署命令介绍以及基于 RedHat9 虚拟机的 NAT 模式部署实战演示。
关于LVS几个问题总结
区块链之美
03-09 905
1、真实服务器DOWN机了，调度器如何发现的，怎么发现的？ 这个只能依靠第三方健康软解监控LVS后端服务的健康状态，常用的方案就是结合keepalived组件实现。 keepalived主要有三个模块，分别是core、check和vrrp。 check负责健康检查，包括常见的各种检查方式： TCP_CHECK, HTTP_GET, SSL_GET, MISC_CHECK。 keepaliv...
构建高性能Linux Virtual Server（LVS）集群
hy199707的博客
03-06 1817
在当今互联网服务环境中，高并发、高可用是衡量系统性能和稳定性的关键指标。为了应对海量请求和实现系统的稳定性，负载均衡技术成为不可或缺的一环。其中，Linux Virtual Server（LVS）作为基于Linux内核的开源负载均衡解决方案，凭借其高效能与灵活配置的特点，在众多场景下得到广泛应用。接下来，我们将深入探讨如何构建一个LVS集群
全网最详细的LVS实战详解
m0_74053853的博客
08-07 960
设置好网卡信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值