CentOS6下的 LB集群

最新推荐文章于 2023-11-25 14:17:52 发布
最新推荐文章于 2023-11-25 14:17:52 发布
阅读量217 收藏
点赞数
分类专栏： 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/n_u_l_l_/article/details/103702796
版权

先做初始化设置：https://blog.csdn.net/n_u_l_l_/article/details/103693449

要先做简单的规划：
CentOS6
RIP1 172.16.12.11
RIP2 172.16.12.12
PIP 172.16.12.21
SIP 172.16.12.22
VIP 172.16.12.20

RIP ：

rip1、

[root@rip1 ~]# yum install httpd -y

[root@rip1 ~]# cd /var/www/html/
[root@rip1 html]# ls
[root@rip1 html]# echo -e "<h1>RIP1<h1>\n<h1>172.16.12.11<h1>" >> index.html
[root@rip1 html]# cat index.html 
<h1>RIP1<h1>
<h1>172.16.12.11<h1>

[root@rip1 html]# /etc/init.d/httpd start 
Starting httpd: httpd: apr_sockaddr_info_get() failed for rip1
httpd: Could not reliably determine the server's fully qualified domain name, using 127.0.0.1 for ServerName
                                                           [  OK  ]
[root@rip1 html]# chkconfig httpd on   	//开机自启

rip2、

[root@rip2 ~]# yum install httpd -y

[root@rip2 ~]# cd /var/www/html/
[root@rip2 html]# ls
[root@rip2 html]# echo -e "<h1>RIP1<h1>\n<h1>172.16.12.12<h1>" >> index.html
[root@rip2 html]# cat index.html 
<h1>RIP2<h1>
<h1>172.16.12.12<h1>

[root@rip2 html]# /etc/init.d/httpd start 
Starting httpd: httpd: apr_sockaddr_info_get() failed for rip2
httpd: Could not reliably determine the server's fully qualified domain name, using 127.0.0.1 for ServerName
                                                           [  OK  ]
[root@rip2 html]# chkconfig httpd on

绑定VIP和配置ARP防火墙：
装软件包

[root@rip1 html]# yum install openssh-clients -y

  • arptables 可以当作是linux下的ARP防火墙

  • arptables 是一个用户空间，用于管理内核中的ARP规则表，规则检查处理的是ARP数据帧。(arptables 类似 iptable，但比iptables简单，它需要载入内核模块arptable_filter)。

  • 正常情况下，arptable_filter 只有一个表filter ，不指定-t 表名 时默认就是filter 表。

  • filter 表有两个链，一个是IN,表示外面发进来的ARP包；另外一个是OUT ，表示本机发出的ARP包。

  • 内建的动作：ACCEPT 放行ARP包；DROP 丢掉ARP包；CONTINUE 继续下一规则;RETURN 不在这个链中继续进行匹配,返回到上一条链的下一条规则.

写个脚本具体实现：
分别发送给两个RIP，脚本里的IP切换成成具体RIP的的IP。

#!/bin/bash
VIP=172.16.x.x
RIP=172.16.x.x
arptables -F
arptables -A IN -d $VIP -j DROP
arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
/sbin/ifconfig eth0:1 $VIP broadcast $VIP netmask 255.255.255.255 up
/sbin/route add -host $VIP dev eth0:1

我的就叫这个了。

[root@rip1 ~]# chmod +x  arptables-config.sh 
[root@rip1 ~]# ./arptables-config.sh

执行后输入指令就能看到了：

[root@rip1 ~]# arptables -L 
Chain IN (policy ACCEPT)
target     source-ip            destination-ip       source-hw          destination-hw     hlen   op         hrd        pro       
DROP       anywhere             172.16.12.20         anywhere           anywhere           any    any        any        any       

Chain OUT (policy ACCEPT)
target     source-ip            destination-ip       source-hw          destination-hw     hlen   op         hrd        pro       
mangle     172.16.12.20         anywhere             anywhere           anywhere           any    any        any        any       --mangle-ip-s 172.16.12.11 

Chain FORWARD (policy ACCEPT)
target     source-ip            destination-ip       source-hw          destination-hw     hlen   op         hrd        pro

ifconfig也能看到VIP。 eth0:1

[root@rip1 ~]# ifconfig 
eth0      Link encap:Ethernet  HWaddr 00:0C:29:F6:AA:FE  
          inet addr:172.16.12.11  Bcast:172.16.255.255  Mask:255.255.0.0

eth0:1    Link encap:Ethernet  HWaddr 00:0C:29:F6:AA:FE  
          inet addr:172.16.12.20  Bcast:172.16.12.20  Mask:255.255.255.255

然后就可以设置开机自启了。

[root@rip1 ~]# echo "/root/arptables-config.sh" >> /etc/rc.local 

[root@rip2 ~]# echo "/root/arptables-config.sh" >> /etc/rc.local

centos6 的rc.local本来就有执行权限所以不用再分配了。
两个RIP都这样配置。

PIP配置：
[root@pip ~]# vim /etc/sysctl.conf 
[root@pip ~]# sysctl -p 
net.ipv4.ip_forward = 1    <------这个改成1
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296

[root@pip ~]# yum install piranha -y 

[root@pip ~]# piranha-passwd
New Password: <------设置密码和确认密码
Verify: 
Adding password for user piranha

启动web页面的那个服务：
注意：piranha这个软件有2个服务一个是web的页面，一个是真正的负载均衡服务。现在启动的是web页面。

[root@pip ~]# /etc/init.d/piranha-gui start

然后在浏览器访问：
http://172.16.12.21:3636/ IP是PIP的
用户名：piranha
密码：就是上边设置的密码。

在这里插入图片描述
点击login登录。

在这里插入图片描述
输入用户名和密码。

在这里插入图片描述
就能看到首页了。

在这里插入图片描述
第二个模块。写PIP的，下边的默认就行。路由算法默认是DR

在这里插入图片描述
第三个模块，启用

在这里插入图片描述
写SIP的信息

在这里插入图片描述
第四个模块 添加

在这里插入图片描述
第四模块的第1子模块

在这里插入图片描述
第四模块的第2子模块

real server

在这里插入图片描述
有几个RIP就添加几个，我的是2个 ，最后是这样。

在这里插入图片描述
第四模块第3子模块，是用来做可用性检查的。

要写个检查脚本：

[root@pip ~]# vim health-httpd.sh
#!/bin/bash
#检查 httpd 的健康状况

curl $1 &> /dev/null
if [ $? -eq 0 ]
then
        echo "ok"
else
        echo "filed"
fi


然后测试下。
[root@pip ~]# chmod +x health-httpd.sh 
[root@pip ~]# ./health-httpd.sh 172.16.12.11
ok
[root@pip ~]# ./health-httpd.sh 172.16.12.12
ok
[root@pip ~]# ./health-httpd.sh 172.16.12.44
filed
这就ok了。

[root@pip ~]# ln health-httpd.sh /bin/
然后链接到bin下。

发到SIP那里。

[root@pip ~]# scp health-httpd.sh 172.16.12.22:/bin/

SIP测试脚本：

[root@sip ~]# health-httpd.sh 172.16.12.11
ok
[root@sip ~]# health-httpd.sh 172.16.12.12
ok

都通过的话就可以在网页输入了：

在这里插入图片描述
然后保存就可以了。

这里的配置文件不用写，但是是通过web网页来配置的。
就是下边这个。打开后就能看到在网页设置的东西了

[root@pip ~]# vim /etc/sysconfig/ha/lvs.cf 

serial_no = 15
primary = 172.16.12.21
service = lvs
backup_active = 1
backup = 172.16.12.22
heartbeat = 1
heartbeat_port = 539
keepalive = 6
deadtime = 18
network = direct
debug_level = NONE
monitor_links = 1
syncdaemon = 0
virtual LB-httpd {
     active = 1
     address = 172.16.12.20 eth0:1
     vip_nmask = 255.255.0.0
     port = 80
     persistent = 50
     pmask = 255.255.255.255
     send = "GET / HTTP/1.0\r\n\r\n"
     expect = "ok"
     use_regex = 0
     send_program = "/bin/health-httpd.sh %h"
     load_monitor = none
     scheduler = wlc
     protocol = tcp
SIP配置：
[root@sip ~]# vim /etc/sysctl.conf 
[root@sip ~]# sysctl -p

安装软件：

[root@sip ~]# yum install piranha -y

PIP将配置文件发给SIP：

[root@pip ~]# scp /etc/sysconfig/ha/lvs.cf 172.16.12.22:/etc/sysconfig/ha/

PIP启动服务：

[root@pip ~]# /etc/init.d/pulse start 
Starting pulse:                                            [  OK  ]
[root@pip ~]# chkconfig pulse on

SIP启动服务：

[root@sip ~]# /etc/init.d/pulse start 
Starting pulse:                                            [  OK  ]
[root@sip ~]# chkconfig pulse on

PIP上能看到浮动IP 了：

[root@pip ~]# ifconfig 
eth0      Link encap:Ethernet  HWaddr 00:0C:29:84:0C:FA  
          inet addr:172.16.12.21  Bcast:172.16.255.255  Mask:255.255.0.0

eth0:1    Link encap:Ethernet  HWaddr 00:0C:29:84:0C:FA  
          inet addr:172.16.12.20  Bcast:172.16.255.255  Mask:255.255.0.0

SIP上没有浮动IP

访问测试：

在这里插入图片描述
能看到测试页。证明ok

测试高可用：

1、关掉PIP：

PIP：poweroff

SIP：浮动IP跑到SIP上了，这个会有延迟，要等一会

[root@sip ~]# ifconfig 
eth0      Link encap:Ethernet  HWaddr 00:0C:29:CA:E6:7D  
          inet addr:172.16.12.22  Bcast:172.16.255.255  Mask:255.255.0.0

eth0:1    Link encap:Ethernet  HWaddr 00:0C:29:CA:E6:7D  
          inet addr:172.16.12.20  Bcast:172.16.255.255  Mask:255.255.0.0

服务没有停止。

2、现在访问的是RIP1 那里，然后停掉RIP1。

在这里插入图片描述
RIP1：

[root@rip1 ~]# /etc/init.d/httpd stop
Stopping httpd:                                            [  OK  ]

然后刷新网页发现到RIP2 了

在这里插入图片描述
到这里高可用和负载均衡基本完成了，关闭1台机器，总能保证服务不停止。

再加一组

nginx1：172.16.12.13
nginx2：172.16.12.14
VIP：172.16.12.20

RIP：
这里VIP是一样的，但是端口不同。nginx设置为8000

server {
        listen       8000;
        server_name  localhost;
        location / {
            root   html;
            index  index.html index.htm;
        }

启动服务8000端口

[root@rip3-nginx ~]# netstat -antlup | grep nginx 
tcp        0      0 0.0.0.0:8000                0.0.0.0:*                   LISTEN      1404/nginx

修改测试页：

[root@rip3-nginx html]# cat index.html 
<h1>RIP3 nginx 172.16.12.13<h1>

[root@rip4-nginx html]# cat index.html 
<h1>RIP4 nginx 172.16.12.14<h1>

PIP：
写健康探测脚本：

[root@pip ~]# vim health-nginx.sh 
#!/bin/bash
#检查 nginx 的健康状况

curl $1:8000 &> /dev/null
if [ $? -eq 0 ]
then
        echo "ok"
else
        echo "filed"
fi
就复制httpd的改就好了

[root@pip ~]# chmod +x health-nginx.sh 
[root@pip ~]# ./health-nginx.sh 172.16.12.13
ok
[root@pip ~]# ./health-nginx.sh 172.16.12.14
ok


[root@pip ~]# ln health-nginx.sh /bin/

[root@pip ~]# scp health-nginx.sh 172.16.12.22:/bin/

SIP：

[root@sip ~]# health-nginx.sh 172.16.12.13
ok
[root@sip ~]# health-nginx.sh 172.16.12.14
ok

然后直接进网页进行配置：

在这里插入图片描述加一组，别的不用动，里边记得修改端口IP还有健康监测脚本就好了。

配置完保存，然后再配置文件中就能看到已经新增加了nginx的那些。

     }
     server rip2-httpd {
         address = 172.16.12.12
         active = 1
         port = 80
         weight = 10
     }
}
virtual LB-nginx {
     active = 1
     address = 172.16.12.20 eth0:1
     vip_nmask = 255.255.0.0
     port = 8000
     persistent = 50
     pmask = 255.255.255.255
     send = "GET / HTTP/1.0\r\n\r\n"
     expect = "ok"
     use_regex = 0
     send_program = "/bin/health-nginx.sh %h"
     load_monitor = none

PIP发给SIP

[root@pip ~]# scp /etc/sysconfig/ha/lvs.cf 172.16.12.22:/etc/sysconfig/ha/

PIP和SIP重启服务：

[root@pip ~]# /etc/init.d/pulse restart 
Shutting down pulse:                                       [  OK  ]
Starting pulse:                                            [  OK  ]

查看状态。有2组。

[root@sip ~]#  ipvsadm -L -n

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.16.12.20:80 wlc persistent 50
  -> 172.16.12.11:80              Route   1      0          0         
  -> 172.16.12.12:80              Route   10     0          0         
TCP  172.16.12.20:8000 wlc persistent 50
  -> 172.16.12.13:8000            Route   10     0          0         
  -> 172.16.12.14:8000            Route   10     0          0

访问测试：加端口8000

在这里插入图片描述看到测试页。OK

加集中存储NFS

NFS：172.16.12.23

安装nfs

yum install nfs-* -y

配置共享

[root@jq-c6-nfs lbnginx]# vim /etc/exports
/lbnfs 172.16.0.0/16(rw,sync)
/lbnginx 172.16.0.0/16(rw,sync)

httpd测试页：

[root@jq-c6-nfs /]# cd lbnfs/
[root@jq-c6-nfs lbnfs]# cat index.html 
<h1>NFS<h1>
<h1>172.16.12.23<h1>
<h1>httpd<h1>

nginx测试页：

[root@jq-c6-nfs /]# cd lbnginx/
[root@jq-c6-nfs lbnginx]# cat index.html 
<h1>NFS<h1>
<h1>172.16.12.23<h1>
<h1>nginx<h1>

[root@jq-c6-nfs /]# /etc/init.d/rpcbind restart 
Stopping rpcbind:                                          [  OK  ]
Starting rpcbind:                                          [  OK  ]
[root@jq-c6-nfs /]# /etc/init.d/nfs restart 
Shutting down NFS daemon:                                  [  OK  ]
Shutting down NFS mountd:                                  [  OK  ]
Shutting down NFS services:                                [  OK  ]
Shutting down RPC idmapd:                                  [  OK  ]
Starting NFS services:                                     [  OK  ]
Starting NFS mountd:                                       [  OK  ]
Starting NFS daemon:                                       [  OK  ]
Starting RPC idmapd:                                       [  OK  ]

[root@jq-c6-nfs /]# chkconfig rpcbind on
[root@jq-c6-nfs /]# chkconfig nfs on

RIP1：httpd

[root@rip1 www]# mount 172.16.12.23:/lbnfs html/
[root@rip1 www]# cd html/
[root@rip1 html]# ls
index.html
[root@rip1 html]# cat index.html 
<h1>NFS<h1>
<h1>172.16.12.23<h1>
<h1>httpd<h1>

能看到nfs共享出来的内容。

[root@rip1 www]# echo "mount 172.16.12.23:/lbnfs html/" >> /etc/rc.local

直接写到这里实现开机自动挂载。

RIP2 ：类似

[root@rip2 ~]# mount 172.16.12.23:/lbnfs /var/www/html
[root@rip2 ~]# cat /var/www/html/index.html 
<h1>NFS<h1>
<h1>172.16.12.23<h1>
<h1>httpd<h1>
[root@rip2 ~]#

nginx也一样。

然后直接测试：

在这里插入图片描述

在这里插入图片描述

然后进行健壮性测试，重启关机等等，都能访问。

٩(•̮̮̃•̃)۶
关注
专栏目录
centos LB负载均衡集群 三种模式区别 LVS/NAT 配置 LVS/DR 配置 LVS/DR + keepalived配置 nginx ip_hash 实现长连接 LVS是四层LB...
weixin_34384681的博客
12-27 629
centos   LB负载均衡集群 三种模式区别 LVS/NAT 配置  LVS/DR 配置  LVS/DR + keepalived配置  nginx ip_hash 实现长连接  LVS是四层LB  注意down掉网卡的方法  nginx效率没有LVS高  ipvsadm命令集  测试LVS方法 第三十三节课   LVS核心模块就是IPVS,安装在Director上，Director就是一...
centos7.5部署高可用k8s(一) ---- 部署LB负载均衡haproxy+keepalived
w450093854的专栏
11-28 1304
在centos7.5系统部署一个k8s高可用集群。k8s版本采用v1.15.2。docker版本18.09 根据官方的文档，部署集群前首先要部署负载均衡器，这里简要记录下LB负载均衡器的部署过程。 环境说明 节点 IP 备注 haproxy-1、keepalived-1 10.0.0.21 代理节点1 haproxy-2、keepalived-2 10....
CentOS下关于集群同步/LB/HA 的尝试
weixin_34331102的博客
11-02 168
CentOS下关于集群同步/LB/HA 的尝试 Zookepper 集群同步 下载解压 wget http://apache.fayea.com/zookeeper/stable/zookeeper-3.4.8.tar.gz tar xvf zookeeper-3.4.8.tar.gz cd zookeeper-3.4.8 ...
LB 负载均衡的层次结构
weixin_34387468的博客
03-31 336
作为后端应用的开发者，我们经常开发、调试、测试完我们的应用并发布到生产环境，用户就可以直接访问到我们的应用了。但对于互联网应用，在你的应用和用户之间还隔着一层低调的或厚或薄的负载均衡层软件，它们不显山不露水默默的发挥着重要的作用，以至于我们经常忽略了它们的存在。因为负载均衡层通常不在一般开发人员的问题域内，而且它们一般都是现成且成熟的解决方案，以至于我们习惯性的忽略和认为乏善可陈。其实不然，本文...
Linux 集群的基本概念与LB（负载均衡）集群详解
weixin_34247299的博客
07-27 436
大纲一、集群定义 二、集群类型三、LB（负载均衡）集群四、LVS-NAT 模式演示五、LVS-DR 模式演示六、LVS 持久连接注：测试环境CentOS 6.4 X86_64 一、集群定义 集群(cluster)技术是一种较新的技术,通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是集群系统中的核心技术。集群是一组相互...
CentOS7搭建Kubernetes集群
最新发布
向之 所欣
11-25 1933
环境准备：Centos7（2核、master内存3GB、slave内存2GB） 搭建概述：先将一台虚拟机搭建为master、随后克隆出两台虚拟机作为从节点。
CHAPTER 6 LB集群部署 - LVS
u010230019的博客
03-15 414
lvs
CentOS-搭建MinIO集群
自由人生™
01-16 302
#2020云栖大会#阿里云海量offer来啦！投简历、赢阿里云限量礼品及阿里云ACA认证免费考试资格！>>> ...
CentOS 6 安装 KeepAlived + LVS 集群
All of my life is programming!
07-14 333
CentOS 6 安装 KeepAlived + LVS 集群0x00 环境介绍服务器系统环境软件运行版本IP地址分配0x01 部署 LVS + Keepalived安装 ipvsadm安装 Keepalived配置 KeepalivedKeepalived 操作指令配置 ipvsadmlvs_server.sh 操作命令0x02 部署 REALSERVER 服务器lvs_real_server.sh脚本配置lvs_real_server.sh操作指令0x03 运行 LVS + Keepalived启动两台
CentOS7安装k8s集群
junshangshui的专栏
05-17 758
一、安装前准备 我准备了三台CentOS7.6 mini虚拟机 192.168.3.170 master 2核4G 192.168.3.171 node1 2核4G 192.168.3.172 node2 2核4G 之前都已安装好了docker 19.03.13 二、关闭selinux setenforce 0 # 临时关闭 sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config # 永久关闭 三、调整好时
Centos6.3搭建LVS+keepalived集群.pdf
10-02
在本文档中，我们讨论了如何在CentOS 6.3上搭建LVS（Linux Virtual Server）和Keepalived集群，这两个组件一起用于创建高可用性负载均衡解决方案。以下是搭建过程中涉及的关键知识点： 1. **LVS（Linux Virtual ...
CentOS7.9上部署OpenShift3.11集群
xvktdmjg的博客
07-25 859
CentOS7.9上部署OpenShift3.11集群 OCP官网文档：https://docs.openshift.com/container-platform/3.11/welcome/index.html 版本： openshift 3.11.0 centos7.9 ansible 2.6.5 环境信息 主机名 IP 系统版本 配置 master.ocp.cn 192.168.108.110 CentOS 7.9 4C2G node1.ocp.cn 192.168.108.11
centos6和8---keepalived.conf+高可用集群配置
Navie的博客
04-17 427
keepalived.conf【centos8】 ! Configuration File for keepalived global_defs { notification_email { acassen@firewall.loc failover@firewall.loc sysadmin@firewall.loc } notificat...
集群的基本概念
n_u_l_l_的博客
12-23 2030
集群的定义： 1、 集群是一组协同工作的服务实体 2、 集群实体的可扩展性 3、 集群实体的高可用性 4、 集群实体地址 5、 客户请求的负载均衡 6、 服务节点的错误恢复 集群是一组协同工作的服务实体，用以提供比单一服务实体更具扩展性和可用性的服务 平台。 从客户端看来，一个集群就是一个完整不可细分的实体，但事实上一个集群实体是由完成不同任务的服务节点个体所组成的。 集群实体的可扩展性是指，在集...
keepalive集群（负载均衡）
n_u_l_l_的博客
12-24 1016
LB–负载均衡集群 1、 LB 集群通过将客户端请求分发至多个服务器 , 以达到负载均衡的效果 2、 最简单的 LB 集群系统可通过 DNS 来进行配置 3、 目前在 LINUX 系统下使用最为广泛的 LB 集群系统为 LVS 4、 除了软件 LB 系统外很多厂商也提供了硬件的 LB 设备 LVS LVS 是由电子科技大学的章文嵩博士创立的基于 LINUX 内核的负载均衡技术， 1998年 5 月...
keepalive集群（主从）
n_u_l_l_的博客
12-23 838
使用keepalive在centos7环境nginx的HA集群： nginx1：172.16.12.104 nginx2：172.16.12.105 关闭selinux iptables 主机名 /etc/hosts 联网 同步时间 nginx1&2：安装软件 [root@jq-nginx1 ~]# yum install keepalived -y [root@jq-nginx1 ~]...
keepalive生成的genhash相同的情况
n_u_l_l_的博客
12-28 752
最近遇到一个有趣的事情，在这里记录下来。 keepalive做LVS负载均衡。 截取部分架构图： LVS做了负载均衡代理nginx。 其中nginx也做负载均衡，代理了tomcat，而且tomcat的资源还是NFS集中存储上的。 所以最后的结果就是配置keepalive时生成genhash是相同的，我又查了下genhash的信息，没有查到太多，多番研究后得出。 genhash这个工具生成的MD5...
调度算法
n_u_l_l_的博客
12-24 433
循环调度 (Round-Robin Scheduling RR) 加权循环调度 (Weighted Round-Robin Scheduling WRR) 最少连接 (Least-Connection LC) 加权最少连接法（ Weighted Least-Connections WLC 默认） 基于地区的最少连接调度 (Locality-Based Least-Connection Sche...
CentOS下6节点Redis集群搭建教程
6. **集群节点设置**：在每台主机上安装`redis-3.0.0.gem`，并在bin目录下执行`gem install redis-3.0.0.gem`。设置每个节点的端口号，这里涉及3个主节点和3个从节点，共6台机器。 7. **集群节点复制**：对于主节点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值