LVS-DR模式集群：案例与概念

于 2024-08-05 16:11:25 发布
阅读量645 收藏 13
点赞数 26
分类专栏： 集群 文章标签： 网络 运维 linux 服务器 ip
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_65551023/article/details/140928820
版权

DR模式（直接路由）

概念

  • Direct Routing，简称DR模式
  • 采用半开放式的网络结构，与TUN模式的结构类似，但内网服务器并不是分散在各地，而是与调度器位于同一个物理网络
  • 负载调度器与内网服务器通过本地网络连接，不需要建立专用的IP隧道
  • 因为调度器只接收外网的请求，内网服务器的响应则是直接由网关路由出去，所以减轻了调度器的压力
  • 针对大规模集群

忽略网关的DR模式工作原理

这里简化工作流程，忽略网关来讲解局域网内数据的转发流程

也就是说目前的场景是：内网中的交换机、后端服务器、调度器

（1）外网客户端发送请求数据包
    • 网络层：源IP地址为客户端IP，目标IP地址为LVS的VIP（Virtual IP）地址
    • 传输层：源IP的一个随机端口。VIP的80端口
    • 数据链路层：源MAC地址是客户端的MAC地址，目标MAC地址是调度器的MAC地址
（2）交换机接收到数据包后
    • 交换机收到数据包后，根据MAC地址表来转发给对应的调度器
    • 交换机将下一跳的源MAC地址是交换机的MAC地址，目标MAC地址修改为调度器的MAC地址，封装成数据帧，然后传递给调度器
（3）调度器转发数据包到后端服务器
    • 调度器将收到的数据包根据调度策略分配给选定的后端服务器
    • 网络层：此时源地址还是客户端的IP地址保持不变，目标IP地址还是VIP
    • 调度器不能转发数据包，而是调度，数据包内的源、目标地址不变
    • 数据链路层：调度器重新封装数据帧，源MAC地址是调度器的MAC地址，目标MAC地址是后端服务器的真实MAC地址
（4）后端服务器处理请求
    • 后端服务器收到请求后去掉帧头部信息解析，进行应答，生成响应的数据包
    • 网络层：此时响应数据包的源IP地址是后端服务器虚拟子 接口绑定的VIP，目标IP地址是客户端的IP
    • 数据链路层：后端服务器重新封装数据帧，源MAC地址是后端服务器的MAC地址，目标MAC地址是客户端的MAC地址
    • （如果不忽略网关的话，目标MAC地址就是网关的内网接口MAC地址）
（5）交换机转发响应给外网客户端
    • 最后，交换机将响应数据包返回给外网客户端
    • 此时源MAC地址是交换机的MAC地址，目标MAC地址是客户端的MAC地址
    • 如果有网关：网关重新封装数据帧，源MAC地址是网关的外网接口MAC地址，目标MAC地址是客户端的MAC地址
注意
IP地址的重要性
  • 源IP地址：在整个通信过程中，源IP地址标识了数据包的发送方，即客户端的地址。这是确保服务器能够正确返回响应的关键。
  • 目标IP地址：目标IP地址则标识了数据包的最终接收方，如调度器或后端服务器的地址。这确保了数据包在网络中正确路由到达目的地。

如果在传输过程中源IP地址被修改，会导致客户端不接受该数据包，从而导致通信失败或安全问题。

数据帧的重新封装
  • 数据帧在每个网络设备之间传输时，会根据下一个设备的MAC地址进行重新封装。这是数据链路层的操作，确保数据能够通过物理网络正常传输。
  • 每次重新封装时，会保留原始的网络层（IP层）信息，包括源和目标IP地址。这样做的目的是确保数据包在经过多个网络设备时，能够继续被正确地路由到下一个目标，直到达到最终的接收方。

DR模式中的关键问题

每个节点的VIP

在LVS-DR负载均衡群集中，负载均衡器与节点服务器都要配置相同的VIP地址

为什么VIP要在每个节点上都配置？

是为了让后端服务器生成的响应报文的源地址始终保持是VIP，客户端请求的是VIP，最后应答的也是VIP，保持一致

后端服务器真实IP接收—VIP应答

后端服务器接收请求用的是自己的真实IP接收的，但是响应请求的源地址用的却是VIP

解决方法

需要在每一个后端服务器设置路由条目

本主机内两个网卡接口的路由

本地回环增加一个子接口

当使用ens33网卡收到报文后，如果访问的是VIP的地址，就交给lo:0去处理报文封装

通过路由条目把下一跳修改为本地的另一个虚拟网卡（lo:0）

所以DR模式叫做直接路由

ARP

如果交换机和调度器是第一次通信，就需要发出ARP广播来查找调度器服务器

但是在局域网中调度器和后端服务器具有相同的VIP地址，会造成各服务器ARP通信的混乱

  • 当ARP广播发送到LVS-DR集群时，因为调度器和后端服务器都是连接到相同的网络上，他们都会接收到ARP广播
  • 应该设置只有前端的调度器进行响应。其他后端服务器不响应 该ARP广播
解决方法
  • 对后端服务器进行处理，使其不响应针对VIP的ARP请求
  • 使用虚拟接口lo:0承载VIP地址
  • 设置内核参数arp_ignore=1表示系统只响应目标地址为本地真实IP的ARP请求
IP地址

当交换机第一次与调度器通信后，网关内ARP缓存表存储的是VIP对应调度器的MAC地址

但是到后端服务器发送响应报文给网关时，这个响应报文的源地址还是VIP但是MAC地址就变成了后端服务器的MAC地址

网关接收到响应以后，会发现VIP对应的MAC地址与ARP缓存表记录的信息对不上

此时如果不处理，那么下次再有外网请求转发时就会直接发送给后端服务器，而不是调度器了

解决方法

对后端服务器进行处理，设置内核参数arp_announce=2表示系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址

设置完参数以后，后端服务器再发送报文的IP地址就不使用VIP作为地址，而是使用自己的真实地址来发送报文，那么网关接收到了报文就不会冲突了

发送ARP请求时，Linux默认使用IP包的源IP地址（VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址

总结

后端服务器的VIP不参与ARP的请求和应答

案例

案例介绍

为了进一步提高网站的负载能力，现在决定扩展现有的网站平台，基于LVS构建负载均衡集群。

考虑到集群的访问效率，准备采用LVS的DR模式，共享存储设备存放在内网中

案例环境

因为本次案例主要针对Linux上的部署操作，所以与外网通信的网关就模拟存在了

主机

操作系统

IP 地址

角色

服务器

CentOS7.9

192.168.10.101

调度器

服务器

CentOS7.9

192.168.10.102

Web服务器

服务器

CentOS7.9

192.168.10.103

Web服务器

服务器

CentOS7.9

192.168.10.104

NFS共享存储

测试机

CentOS7.9

172.16.16.200

客户端，测试机

实验步骤

打开五台Linux虚拟机并全部连接上XShell

基本环境设置

修改主机名

给对应的主机修改主机名，以便区分

# 192.168.10.101
[root@localhost ~]# hostnamectl set-hostname LVS
[root@localhost ~]# bash
# 192.168.10.102
[root@localhost ~]# hostnamectl set-hostname Web01
[root@localhost ~]# bash
# 192.168.10.103
[root@localhost ~]# hostnamectl set-hostname Web02
[root@localhost ~]# bash
# 192.168.10.104
[root@localhost ~]# hostnamectl set-hostname nfs
[root@localhost ~]# bash
# 192.168.10.105
[root@localhost ~]# hostnamectl set-hostname client
[root@localhost ~]# bash

调度器设置

配置VIP

在101（调度器）操作

cd进入存放网卡配置文件的目录下，拷贝出一个子接口网卡配置文件，修改如下几条内容

UUID可以保留，因为这两个IP用到的都是同一个物理网卡，不冲突

[root@lvs ~]# cd /etc/sysconfig/network-scripts/
[root@lvs network-scripts]# cp ifcfg-ens33 ifcfg-ens33:0
[root@lvs network-scripts]# vim ifcfg-ens33:0
IPADDR=192.168.10.172
NAME=ens33:0
DEVICE=ens33:0

保存并退出，重启网络，使用ifconfig查看子接口是否被创建出来了

[root@lvs network-scripts]# systemctl restart network
[root@lvs network-scripts]# ifconfig
ens33:0:
        inet 192.168.10.172  netmask 255.255.255.0
配置内核参数

调度器并不是转发报文，而是根据调度策略分配，所以在内核配置文件里设置：关闭转发功能

  • net.ipv4.conf.all.send_redirects
    • 是否允许系统重定向功能
    • ICMP重定向消息是用来告知主机在其它子网的更佳路由信息的消息
  • net.ipv4.conf.default.send_redirects
    • 默认是否允许系统重定向功能
    • 如果没有单独为某个接口设置不同的值，那么会使用这个默认值
  • net.ipv4.conf.ens33.send_redirects
    • 针对ens33网络接口的设置，它覆盖了默认值和全局设置，确保对该网络接口禁止发送重定向消息
[root@lvs ~]# vim /etc/sysctl.conf
net.ipv4.conf.all.send_redirects=0
net.ipv4.conf.default.send_redirects=0
net.ipv4.conf.ens33.send_redirects=0

使用sysctl -p来不用重启系统应用内核配置

[root@lvs ~]# sysctl -p
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
配置调度策略

为了方便实验，关闭防火墙和内核安全机制，并安装LVS管理程序

[root@lvs ~]# systemctl stop firewalld
[root@lvs ~]# setenforce 0
[root@lvs ~]# yum -y install ipvsadm

使用ipvsadm命令来创建集群服务负责将到达192.168.10.172:80的请求根据设定的调度策略分发到后端服务器。

然后可以使用ipvsadm -ln来查看现有的调度策略

  • -g：gateway，指定为DR模式
[root@lvs ~]# ipvsadm -A -t 192.168.10.172:80 -s wrr

[root@lvs ~]# ipvsadm -a -t 192.168.10.172:80 -r 192.168.10.102 -g -w 1
[root@lvs ~]# ipvsadm -a -t 192.168.10.172:80 -r 192.168.10.103 -g -w 2
[root@lvs ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.10.172:80 wrr
  -> 192.168.10.102:80            Route   2      0          0         
  -> 192.168.10.103:80            Route   2      0          0

Web服务器配置

先右键XShell终端的空白处，开启会话同步

注意只开启102和103两个Web服务器的会话同步，其他根据下图关闭

在102（Web服务器①）操作

为了方便实验，关闭防火墙和内核安全机制

[root@web01 ~]# systemctl stop firewalld
[root@web01 ~]# setenforce 0

绑定VIP

后端服务器要通过本地回环来绑定VIP

这里在本机回环接口上创建一个虚拟子接口，把IP设为VIP，实现封装时的需求

[root@web01 ~]# cd /etc/sysconfig/network-scripts/
[root@web01 network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@web01 network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.10.172
NETMASK=255.255.255.255
#NETWORK=127.0.0.0
#BROADCAST=127.255.255.255
ONBOOT=yes
NAME=loopback
255.255.255.255（/32）
  • 代表完全独立的IP，哪怕有一个相同IP和相同掩码也不会冲突
  • 意味着这个IP地址不再代表一个网络或者子网的一部分，而是指定了一个具体的主机，避免与其他设备的IP地址重叠或冲突
  • 32位掩码的IP通常不用于实际的通信，只用于管理，我们这里就只用于封装数据包

保存并退出，重启网络，可以使用ifconfig查看lo:0有没有创建成功

[root@web01 network-scripts]# systemctl restart network
[root@web01 network-scripts]# ifconfig

lo:0:
        inet 192.168.10.172  netmask 255.255.255.255
设置路由条目

如果有请求访问192.16.16.172就路由给lo:0去处理

使用route命令，指定请求的IP，再指定处理的设备为lo:0但此时只是临时生效，关机后就失效了

要永久生效的话，可以在/etc/rc.local文件末尾追加该命令，来实现开机时自动执行该命令

[root@web01 ~]# route add -host 192.168.10.172 dev lo:0
[root@web01 ~]# vim /etc/rc.local
route add -host 192.168.10.172 dev lo:0
设置内核参数

针对上面概念我们提到的ARP请求的问题，需要修改内核参数，来不让VIP参与ARP的请求和应答

在内核配置文件末尾追加下方代码块中的内容，然后使用sysctl -p应用配置参数

[root@web01 ~]# vim /etc/sysctl.conf 
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.default.arp_ignore=1
net.ipv4.conf.default.arp_announce=2
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.lo.arp_announce=2
[root@web01 ~]# sysctl -p
安装Web服务

还是在102（Web服务器①）操作（会话同步中）

安装Apache网站服务，启动httpd服务

[root@web01 ~]# yum -y install httpd
[root@web01 ~]# systemctl start httpd

关闭全部会话同步

分别添加测试对应的网页内容

在102（Web服务器①）操作（会话同步关闭）

创建网页文件，添加以下内容

[root@web01 ~]# vim /var/www/html/index.html
Test Web 01

在103（Web服务器②）操作

创建网页文件，添加以下内容

[root@web02 ~]# vim /var/www/html/index.html
Test Web 02
测试

在105（外网客户端）操作

因为在设置调度策略时指定了权重值，所以调度器会把每3次请求中的2次分配给102，1次分配给103

[root@client ~]# curl 192.168.10.172
Test Web 01
[root@client ~]# curl 192.168.10.172
Test Web 02
[root@client ~]# curl 192.168.10.172
Test Web 02
[root@client ~]# curl 192.168.10.172
Test Web 01
[root@client ~]# curl 192.168.10.172
Test Web 02
[root@client ~]# curl 192.168.10.172
Test Web 02
模拟故障

如果把102的网站服务关闭了，只留下一个103，然后让客户端再去访问

[root@client ~]# curl 192.168.10.172
Test Web 02
[root@client ~]# curl 192.168.10.172
Test Web 02
[root@client ~]# curl 192.168.10.172
curl: (7) Failed connect to 192.168.10.172:80; 拒绝连接

因为其中一台后端服务器故障了，而调度策略中又指定了分配请求给该服务器，但是该服务器的服务已经关闭

所以LVS的缺点就是：如果只单独使用LVS来实现负载均衡集群，那么假如有后端服务器故障了，需要手动删除调度策略，LVS不会自动更新调度策略，LVS的还需要借助其他技术手段才能实现真正的高可用

NFS共享存储

在104（共享存储服务器）操作

关闭防火墙和内核安全机制，然后安装nfs文件系统所需依赖

[root@nfs ~]# systemctl stop firewalld
[root@nfs ~]# setenforce 0
[root@nfs ~]# yum -y install nfs-utils
[root@nfs ~]# vim /etc/exports

/opt/wwwroot 192.168.10.0/24(rw,sync,no_root_squash)
# 保存并退出

创建共享目录，并启动服务

[root@nfs ~]# mkdir /opt/wwwroot
[root@nfs ~]# systemctl start nfs
[root@nfs ~]# systemctl start rpcbind
挂载共享目录

在102（Web服务器①）操作

安装nfs文件系统所需依赖，使用mount命令指定文件系统类型和挂载位置，再指定挂载点

最后使用df命令查看是否挂载成功

[root@web01 ~]# yum -y install nfs-utils
[root@web01 ~]# mount -t nfs 192.168.10.104:/opt/wwwroot /var/www/html/
[root@web01 ~]# df
文件系统                        1K-块    已用      可用   已用% 挂载点

192.168.10.104:/opt/wwwroot 204368640 1901824 202466816    1% /var/www/html

在103（Web服务器②）操作

步骤同上

[root@web02 ~]# yum -y install nfs-utils
[root@web02 ~]# mount -t nfs 192.168.10.104:/opt/wwwroot /var/www/html/
[root@web02 ~]# df
文件系统                        1K-块    已用      可用   已用% 挂载点

192.168.10.104:/opt/wwwroot 204368640 1901824 202466816    1% /var/www/html

因为挂载一个目录到/var/www/html目录后，会覆盖该目录原本的内容，所以这里继续在103的挂载点下创建一个测试的网页文件，添加以下内容

[root@web02 html]# vim index.html
NFS Test
测试

在105（外网客户端）操作

最后在客户端测试，共享存储的功能就实现了

[root@client ~]# curl 192.168.10.172
NFS Test
[root@client ~]# curl 192.168.10.172
NFS Test
[root@client ~]# curl 192.168.10.172
NFS Test

案例完成

变成我
关注
  • 26
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
集群及LVS简介 LVS-NAT集群 LVS-DR集群
weixin_42446876的博客
08-31 355
Top NSD CLUSTER DAY02 案例1：ipvsadm命令用法 案例2：部署LVS-NAT集群 案例3：部署LVS-DR集群 1 案例1：ipvsadm命令用法 1.1 问题 准备一台Linux服务器，安装ipvsadm软件包，练习使用ipvsadm命令，实现如下功能： 使用命令添加基于TCP一些的集群服务 在集群中添加若干台后端真实服务器 实现同一客户端访问，调度器...
LVS-DR模式+Keepalived理论，超详细！
m0_47219942的博客
09-02 1287
一：LVS-DR工作原理 1.1：DR模式概述 负载均衡群集工作模式–直接路由（Direct Routing） 简称DR模式，采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络 负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道 1.2：数据包流向分析 为方便进行原理分析，将 Client与群集机器放在同一网络中，数据包流经的路线为1-2-3-4 1.Client向目标VIP发出请求， Director（负载均衡器）接收
Linux负载均衡解决方案 -- LVS-DR 模式 案例实战
XY0918ZWQ的博客
02-20 244
LVS-DR 模式 案例实战一、环境准备二、案例实战三、测试 一、环境准备 架构设计 环境配置 硬件配置 操作系统：centos-7.8 cpu：1*1 硬盘：20G 内存：2G 网络配置 role host ip VIP OS Client node05 192.168.5.5 ---- Centos-7.8 Director-Server node01 192.168.5.4 192.168.5.100 Centos-7.8 Web1 node02 192.168.5.11
部署LVS-DR集群
weixin_41176080的博客
12-17 146
3案例3：部署LVS-DR集群 3.1问题 使用LVS实现DR模式的集群调度服务器，为用户提供web服务： 客户端IP地址为192.168.4.10 LVS调度器VIP地址为192.168.4.15 LVS调度器DIP地址设置为192.168.4.5 真实web服务器地址分别为192.168.4.100、192.168.4.200 使用加权轮询调度算法，web1的权重为1，web2的...
LVS-DR模式多网段案例
aa896517050的博客
06-23 282
LVS-DR模式多网段案例
LVS负载均衡之一：LVS-NAT、LVS-DR模式的原理详细介绍
weixin_34408624的博客
06-28 182
一、负载均衡LVS基本介绍 LVS是 Linux Virtual Server 的简称，也就是Linux虚拟服务器。这是一个由章文嵩博士发起的一个开源项目，它的官方网站是 http://www.linuxvirtualserver.org。 LVS是Linux内核标准的一部分。LVS是一个实现负载均衡集群的开源软件项目，通过 LVS 的负载均衡技术和 Linux操作系统可以实现一个高性能高可...
LVS-DR模式单网段案例
aa896517050的博客
06-23 99
LVS-DR模式单网段案例
LVS 负载均衡集群 - 直接路由模式（LVS-DR）
热门推荐
shenyuanhaojie的博客
10-20 3万+
文章目录一、LVS-DR 数据包流向分析二、LVS-DR 模式的特点三、LVS-DR 中的 ARP 问题四、部署 LVS-DR 负载均衡集群 一、LVS-DR 数据包流向分析 为方便进行原理分析，将 Client 与集群机器放在同一网络中，数据包流经的路线为 1 - 2 - 3 - 4。 Client 向目标 VIP 发出请求，Director（负载均衡器）接收 此时源 MAC 地址为 Client 的 MAC 地址 目标 MAC 地址为调度器 Director 的 MAC 地址 Directo
《云计算》-集群：部署LVS-DR集群
weixin_46575696的博客
03-24 152
...
8.1： 集群及LVS简介 、 LVS-NAT集群 、 LVS-DR集群 、 总结与答疑.docx
03-05
本文档主要讲解了Linux虚拟服务器（LVS）的基本概念和实现方法，涵盖了LVS的集群模式、LVS-NAT集群、LVS-DR集群等内容。同时，文档还提供了一些实际的案例，包括使用ipvsadm命令实现集群服务、部署LVS-NAT集群和部署...
LVS-DR集群.doc
09-04
【LVS-DR集群详解】 LVS（Linux Virtual Server）是一种开源的企业级四层负载均衡解决方案，以其出色的稳定性和效率而备受赞誉。LVS支持三种常见的工作模式：NAT模式、DR模式（Direct Routing模式）和IP Tunneling...
sery-lvs-cluster.rar_cluster_lvs_sery-lvs-cluster
09-14
总的来说，"sery-lvs-cluster.pdf"这份文档将引导初学者深入理解LVS集群技术，掌握其基本概念、工作原理、配置方法以及实际应用，对于希望构建高可用网络服务的IT从业者来说是一份宝贵的参考资料。
centos7 lvs DR模式1
08-08
**LVS DR模式详解** ...通过以上步骤和知识点，可以构建一个稳定、高效的LVS DR模式负载均衡集群，满足高可用性和负载分发的需求。注意在实际部署中，还需要考虑安全性、日志监控以及故障恢复策略等方面。
LVS实现负载均衡（DR直接路由模式+TUNNEL隧道模式）及LVS的健康检测（ldirectord+keepalived）
01-09
配置DR模式时，调度器与真实服务器需在同一物理网络上，且调度器需要有对所有真实服务器的ARP响应权。 - **3.1 调度器配置** - 配置IPVS规则，指定调度算法和负载均衡策略。 - **3.2 真实服务器配置** - 无需...
未知攻焉知防：从攻击者视角看网络安全的“攻守之道”
科技云报道
08-01 362
基于独特的“动态安全+AI”技术思想，瑞数信息综合运用自动化攻击保护、0day防护、多源低频防护、多维度分层分级对抗等多种安全防护策略和手段，还推出瑞数WAAP超融合平台，支持WAF、Bots防护、0day攻击防护、应用DDoS防护、API安全防护等多项安全产品单独或联合部署，能够覆盖Web、移动App、H5、API及IoT全应用渠道，提供多层级的联动防御机制，令企业在各类复杂的环境中，都可以轻松实现应用安全一体化防御。其次，由于供应链数量众多，类型错综复杂，导致安全难以做到统一管理，供应链风险与日俱增。
网安科班精选！爱荷华大学教授的网络安全零基础入门教程！
互联网架构小马的博客
07-31 605
网络就像一把双刃剑，给我们的生活、交流、工作和发展带来了便利，但同时也给信息安全以及个人隐私带来了威胁。网络和信息安全问题不仅影响了网络的普及和应用，还关系到企国家、军队、企业的信息安全和社会的经济安全，让人又爱又恨。今天给大家分享的这份手册，主要从网络漏洞、协议和安全解决方案等方面来探讨网络安全问题。我们把网络看成是不安全和安全的源头，通过分析网络漏洞、探测、攻击和减少攻击的方法，来研究不同的网络协议。
【Vulnhub系列】Vulnhub Connect-The-Dots 靶场渗透（原创）
最新发布
Lusen的博客
08-02 518
Vulnhub系列Connect-The-Dots靶场做题记录
linux防火墙相关命令
九品神元师
08-01 247
【代码】linux防火墙相关命令。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值