LVS NAT模式+DR模式部署+防火墙标签解决轮询调度问题

最新推荐文章于 2024-09-14 23:39:30 发布
最新推荐文章于 2024-09-14 23:39:30 发布
阅读量975 收藏 11
点赞数 16
文章标签： lvs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_68520194/article/details/141017418
版权

一、LVS简介

1、什么是LVS

LVS（Linux Virtual Server）是一种基于Linux平台的开源负载均衡解决方案，主要用于实现服务器集群的负载均衡和高可用性。该项目是由中国的章文嵩博士主导开发的开源项目，目前已被集成到Linux内核中。LVS的主要目的是通过将多台服务器组成一个虚拟服务器集群，实现高性能和高可用性的网络服务。

2、LVS架构

LVS的整体架构包括负载均衡器（Load Balancer）、后端服务器（Real Server）和客户端三部分。负载均衡器负责接收来自客户端的请求，并根据调度算法将请求转发到后端服务器进行处理，处理结果再返回给客户端。

3、LVS工作模式

（1）、在LVS-NAT模式下，请求报文的目标地址和响应报文的源地址都会被修改，适用于小规模集群。

（2）在LVS-DR模式下，仅修改请求报文的目标MAC地址，后端服务器直接将响应报文发回客户端，适用于大规模集群。

（3）、在LVS-TUN模式下，通过IP隧道将请求报文发送到后端服务器，后端服务器解封装后直接将响应报文发回客户端，适用于地理位置分散的集群。

4、LVS调度算法

静态算法

（1）、RR：roundrobin 轮询 RS分别被调度，当RS配置有差别时不推荐 。

（2）、WRR：Weighted RR，加权轮询根据RS的配置进行加权调度，性能差的RS被调度的次数少 。

（3）、SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往 第一次挑中的RS，从而实现会话绑定 。

（4）、DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请 求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商 。

动态算法

主要根据RS当前的负载状态及调度算法进行调度Overhead=value较小的RS会被调度。

 （1）、LC：least connections（最少链接发） 适用于长连接应用Overhead（负载值）=activeconns（活动链接数） x 256+inactiveconns（非活动链接数） 。

（2）、WLC：Weighted LC（权重最少链接） 默认调度方法Overhead=(activeconns x 256+inactiveconns)/weight 。

（3）、SED：Shortest Expection Delay, 初始连接高权重优先Overhead=(activeconns+1+inactiveconns) x 256/weight 但是，当node1的权重为1，node2的权重为10，经过运算前几次的调度都会被node2承接 。

（4）、NQ：Never Queue，第一轮均匀分配，后续SED

（5）、LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理

（6）、LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS。

4.15版本内核后新增算法

（1）、FO(Weighted Fai Over)调度算法：常用作灰度发布。在此FO算法中，遍历虚拟服务所关联的真实服务器链表，找到还未过载(未设置IP_VS_DEST_F OVERLOAD标志)的且权重最高的真实服务器，进行调度 当服务器承接大量链接，我们可以对此服务器进行过载标记（IP_VS_DEST_F OVERLOAD），那么vs调度器就不会把链接调度到有过载标记的主机中。

（2）、OVF(Overflow-connection)调度算法 基于真实服务器的活动连接数量和权重值实现。将新连接调度到权重值最高的真实服务器，直到其活动 连接数量超过权重值，之后调度到下一个权重值最高的真实服务器,在此OVF算法中，遍历虚拟服务相关 联的真实服务器链表，找到权重值最高的可用真实服务器。一个可用的真实服务器需要同时满足以下条件:

未过载(未设置IP_VS_DEST_F OVERLOAD标志)

真实服务器当前的活动连接数量小于其权重值

其权重值不为零

二、NAT模式配置

实验环境

一台LVS主机：两个网卡，一个选择nat模式，网段为172.25.254.0；一个选择仅主机模式，网段为192.168.0.0

两台webserver主机（RS）：一个网卡，选择仅主机模式，网段为192.168.0.0

网络配置

lvs主机

[root@lvs bin]# vmset.sh eth0 172.25.254.100 lvs

[root@lvs ~]# cat /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
address1=172.25.254.100/24,172.25.254.2
method=manual
dns=114.114.114.114;
[root@lvs bin]# vmset.sh eth1 192.168.0.100 lvs

[root@lvs bin]# vim /etc/NetworkManager/system-connections/eth1.nmconnection
[root@lvs bin]# cat /etc/NetworkManager/system-connections/eth1.nmconnection
[connection]
id=eth1
type=ethernet
interface-name=eth1

[ipv4]
address1=192.168.0.100/24
method=manual

[root@lvs ~]# nmcli connection reload
[root@lvs ~]# nmcli connection up eth0
[root@lvs ~]# nmcli connection up eth1
[root@lvs ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         172.25.254.2    0.0.0.0         UG    102    0        0 eth0
172.25.254.0    0.0.0.0         255.255.255.0   U     102    0        0 eth0
192.168.0.0     0.0.0.0         255.255.255.0   U     103    0        0 eth1

webserver1

[root@webserver1 bin]# vmset.sh eth0 192.168.0.10 webserver1

[root@webserver1 ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
[root@webserver1 ~]# cat /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
address1=192.168.0.10/24,192.168.0.100
method=manual

[root@webserver1 ~]# nmcli connection reload
[root@webserver1 ~]# nmcli connection up eth0
[root@webserver1 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.0.100   0.0.0.0         UG    100    0        0 eth0
192.168.0.0     0.0.0.0         255.255.255.0   U     100    0        0 eth0
 

webserver2

[root@webserver2 bin]# vmset.sh eth0 192.168.0.20 webserver2

[root@webserver2 ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
[root@webserver2 ~]# cat /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
address1=192.168.0.20/24,192.168.0.100
method=manual
[root@webserver2 ~]# nmcli connection reload
[root@webserver2 ~]# nmcli connection up eth0
[root@webserver2 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.0.100   0.0.0.0         UG    100    0        0 eth0
192.168.0.0     0.0.0.0         255.255.255.0   U     100    0        0 eth0

打开内核路由功能

[root@lvs ~]# vim /etc/sysctl.conf
[root@lvs ~]# cat /etc/sysctl.conf
# sysctl settings are defined through files in
# /usr/lib/sysctl.d/, /run/sysctl.d/, and /etc/sysctl.d/.
#
# Vendors settings live in /usr/lib/sysctl.d/.
# To override a whole file, create a new file with the same in
# /etc/sysctl.d/ and put new settings there. To override
# only specific settings, add a file with a lexically later
# name in /etc/sysctl.d/ and put new settings there.
#
# For more information, see sysctl.conf(5) and sysctl.d(5).
net.ipv4.ip_forward=1
[root@lvs ~]# sysctl -p
net.ipv4.ip_forward = 1

[root@lvs ~]# systemctl stop firewalld

webserver中安装和启动http服务

（以webserver1为例）

[root@webserver1 ~]# dnf install httpd -y
[root@webserver1 ~]# echo webserver1 - 192.168.0.10 > /var/www/html/index.html
[root@webserver1 ~]# systemctl enable --now httpd
[root@webserver1 ~]# systemctl stop firewalld

LVS主机中安装LVS软件并配置策略

[root@lvs ~]# dnf install ipvsadm -y
[root@lvs ~]# ipvsadm -A -t 172.25.254.100:80 -s rr
[root@lvs ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10 -m
[root@lvs ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20 -m
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.254.100:80 rr
  -> 192.168.0.10:80              Masq    1      0          0
  -> 192.168.0.20:80              Masq    1      0          0

测试

[root@lvs ~]# for i in {1..10}
> do
> curl 172.25.254.100
> done

三、DR模式配置

实验环境

一台client主机：一个网卡，选择nat模式，网段为172.25.254.0

一台router主机：两个网卡，一个选择nat模式，网段为172.25.254.0；一个选择仅主机模式，网段为192.168.0.0

一台LVS主机

两台webserver主机

（在以上NAT模式配置的基础上进行）

网络配置

LVS主机

[root@lvs bin]# nmcli connection delete eth0

[root@lvs bin]# nmcli connection delete eth1
[root@lvs bin]# vmset.sh eth1 192.168.0.50 lvs
[root@lvs bin]# vim /etc/NetworkManager/system-connections/eth1.nmconnection
[root@lvs bin]# cat /etc/NetworkManager/system-connections/eth1.nmconnection
[connection]
id=eth1
type=ethernet
interface-name=eth1

[ipv4]
address1=192.168.0.50/24,192.168.0.100
method=manual
[root@lvs bin]# nmcli connection reload
[root@lvs bin]# nmcli connection up eth1

[root@lvs ~]# ip a a dev lo 192.168.0.200/32
[root@lvs ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.0.100   0.0.0.0         UG    103    0        0 eth1
192.168.0.0     0.0.0.0         255.255.255.0   U     103    0        0 eth1

router

[root@router bin]# vmset.sh eth0 172.25.254.100 router

[root@router bin]# vmset.sh eth1 192.168.0.100 router
[root@router bin]# vim /etc/NetworkManager/system-connections/eth1.nmconnection
[root@router bin]# cat /etc/NetworkManager/system-connections/eth1.nmconnection
[connection]
id=eth1
type=ethernet
interface-name=eth1

[ipv4]
address1=192.168.0.100/24
method=manual

[root@router ~]# nmcli connection reload
[root@router ~]# nmcli connection up eth0
[root@router ~]# nmcli connection up eth1

client

[root@client bin]# vmset.sh eth0 172.25.254.200 client

[root@client ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
[root@client ~]# cat /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
address1=172.25.254.200/24,172.25.254.100
method=manual

[root@client ~]# nmcli connection reload
[root@client ~]# nmcli connection up eth0

webserver（以webserver1为例）

[root@webserver1 ~]#  ip a a dev lo 192.168.0.200/32

router中打开内核路由功能

[root@router bin]# vim /etc/sysctl.conf
[root@router bin]# cat /etc/sysctl.conf
# sysctl settings are defined through files in
# /usr/lib/sysctl.d/, /run/sysctl.d/, and /etc/sysctl.d/.
#
# Vendors settings live in /usr/lib/sysctl.d/.
# To override a whole file, create a new file with the same in
# /etc/sysctl.d/ and put new settings there. To override
# only specific settings, add a file with a lexically later
# name in /etc/sysctl.d/ and put new settings there.
#
# For more information, see sysctl.conf(5) and sysctl.d(5).
net.ipv4.ip_forward=1
[root@router bin]# sysctl -a | grep ip_forward
net.ipv4.ip_forward = 1
net.ipv4.ip_forward_update_priority = 1
net.ipv4.ip_forward_use_pmtu = 0

RS主机中使vip不对外生效

（以webserver1为例）

[root@webserver1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@webserver1 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@webserver1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

LVS主机中配置策略

[root@lvs ~]# ipvsadm -A -t 192.168.0.200:80 -s wrr
[root@lvs ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10:80 -g -w 1
[root@lvs ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20:80 -g -w 2
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.200:80 wrr
  -> 192.168.0.10:80              Route   1      0          0
  -> 192.168.0.20:80              Route   1      0          0

测试

[root@client ~]# for i in {1..10}; do curl 192.168.0.200; done

四、防火墙标签解决轮询错误

实验环境

延用DR模式的配置

webserver安装mod_ssl支持https

[root@webserver1 ~]# yum install mod_ssl -y
[root@webserver1 ~]# systemctl restart httpd

[root@webserver2 ~]# yum install mod_ssl -y
[root@webserver2 ~]# systemctl restart httpd

测试同一IP不同端口的查询情况

对443端口设定规则

[root@lvs ~]# ipvsadm -A -t 192.168.0.200:443 -s rr
[root@lvs ~]# ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.10:443 -g
[root@lvs ~]# ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.20:443 -g
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.200:80 wrr
  -> 192.168.0.10:80              Route   1      0          0
  -> 192.168.0.20:80              Route   1      0          0
TCP  192.168.0.200:443 rr
  -> 192.168.0.10:443             Route   1      0          0
  -> 192.168.0.20:443             Route   1      0          0

同一IP的查询结果会重复出现

[root@client ~]# curl 192.168.0.200;curl -k https://192.168.0.200

webserver2 - 192.168.0.20
webserver2 - 192.168.0.20

解决办法

LVS中为同一IP的不同端口打上同一个标签，使其成为一个整体

[root@lvs ~]# iptables -t mangle -A PREROUTING -d 192.168.0.200 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 66

清除之前的策略，设定新的调度规则

[root@lvs ~]# ipvsadm -C
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
[root@lvs ~]# ipvsadm -A -f 66 -s rr
[root@lvs ~]# ipvsadm -a -f 66 -r 192.168.0.10 -g
[root@lvs ~]# ipvsadm -a -f 66 -r 192.168.0.20 -g

测试

[root@client ~]# curl 192.168.0.200;curl -k https://192.168.0.200
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10

五、LVS持久链接

在lvs调度器中设定延迟时间

默认为360秒

[root@lvs ~]# ipvsadm -E -f 66 -s rr -p 3000
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
FWM  66 rr persistent 3000
  -> 192.168.0.10:0               Route   1      0          0
  -> 192.168.0.20:0               Route   1      0          0

小杜1号
关注
LVS负载均衡NAT/DR模式搭建、keepalived+LVS配置
FUYY'S BLOG
11-09 2788
文章目录LVS 介绍LVS NAT模式LVS IP Tunnel模式LVS DR模式LVS 常用调度算法 LVS 介绍 LVS（Linux Virtual Server）Linux虚拟服务器，主要用于搭建负载均衡集群，LVS属于4层(OSI模型)的负载均衡，而nginx属于7层，相比较来说，LVS这种4层的负载均衡更稳定，能承受更多的请求，而nginx这种7层的负载均衡更加灵活，能实现更多的个性化...
4.LVS--NAT模式+DR模式.docx
06-30
### LVS——NAT模式与DR模式详解 #### 一、概述 Linux Virtual Server (LVS) 是一种高性能且可扩展的集群系统，用于提供负载均衡解决方案。它自 Linux 内核 2.6 版本起作为核心模块集成，为用户提供了多种负载均衡...
【LVS】nat模式+dr模式+防火墙标签解决轮询错误
m0_64570996的博客
08-07 1260
超级详细哦~
【无标题】LVS nat模式+dr模式
m0_68739559的博客
08-13 591
配置两给网卡和IP地址，一个对外的vip，一个对内的dip，现在主要使用nat网络模式，可以配置桥接模式对外，nat对内，教师机不方便配置桥接模式，所以都是配置的nat模式，但是一定要分清楚哪个是vip,哪个是dip，在物理主机上都要能够ping通。ipvsadm -A -t 192.168.1.164 -s rr //-A添加虚拟服务，-t添加主机。Ipsadm----负责为ipvs内核框架编写规则，定义谁是集群服务，谁是后端真正的服务器。
LVS工作模式详解及防火墙标签解决轮询错误
P1282791580的博客
08-11 572
集群：同一个业务系统，部署在多台服务器上，集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率对于大型网站，访问用户很多，实现一个群集，在前面部署一个负载均衡服务器，后面几台服务器完成同一业务。
LVS负载均衡（NAT模式，DR模式，防火墙标记）详细步骤实现
weixin_68526810的博客
08-08 886
LVS:Linux Virtual Server，负载调度器，内核集成，章文嵩，阿里的四层SLB(Server LoadBalance)是基于LVS+keepalived实现相关术语：VS: Virtual Server，负责调度RS:RealServer，负责真正提供服务CIP：Client IP 客户端的IPVIP: Virtual serve IP VS外网的IPDIP: Director IP VS内网的 IPRIP: Real server IP RS内网 IP。
配置keepalived+lvs+nginx架构，lvs为nat模式
qq_44659804的博客
10-30 1239
配置keepalived+lvs+nginx架构，lvs为nat模式
LVS-NAT模式部署
桂安俊@KylinOS
11-19 1614
（下图IP并非本次实验实际IP，仅供模式介绍参考）NAT模式实际是将LVS当成路由器（linux系统本身也是软路由），将外网IP请求转换成内网IP，并按照指定算法（比如轮询），将请求转发给Real Server。其中web服务器收到请求的source源地址和destination目的地址不是一个网段，所以要配网关，web服务器的网关就是LVS服务器的地址，LVS有两个网段地址，web网关地址应选择与自己同网段的那个IP。
一篇文章教会你 LVS———NAT模式和DR模式部署配置
HUHUD521的博客
08-11 1110
LVS-DR模式，即直接路由模式，是一种通过二层网络（数据链路层）直接转发数据包到后端真实服务器的负载均衡技术。在这种模式下，客户端的请求直接路由到后端真实服务器，而不是先经过负载均衡服务器。这种模式可以减少负载均衡服务器的负载，提高系统的整体性能。
LVS详解及其NAT模式与DR模式部署（全网最详细！！！）
搞运维的
08-08 896
LVS详解及其NAT模式与DR模式部署
LVS实现负载均衡（DR直接路由模式+TUNNEL隧道模式）及LVS的健康检测（ldirectord+keepalived）
01-09
Tunnel模式是另一种LVS工作模式，也称为NAT或IP Tunneling模式。在这种模式下，调度器会封装客户端的请求包，然后转发给真实服务器，真实服务器响应后，调度器再解封装并将响应包回传给客户端。这种模式适用于调度器...
LVS/NAT与LVS/DR模式集群的概述与配置
10-11
### LVS/NAT与LVS/DR模式集群的概述与配置 #### 一、集群及其重要性 **集群**的概念是指一组通过高速网络互连的计算单元，它们以单一系统的模式进行管理，对外提供一致的服务体验。集群技术的核心优势在于其能够...
LVS-DR
2201_75444658的博客
09-13 1110
LVS-DR工作模式的数据包流向；常见的问题；实验搭建
lvs-nat模式实验详解
huaz_md的博客
09-14 769
lvs-nat。
LVS+Keepalived高可用集群
2201_75444658的博客
09-14 567
什么是Keepalived；工作原理以及它的重要模块；Keepalived脑裂的场景以及应对策略
5153-微信小程序个人日程安排微信小程序的实现+ssm（源码+数据库+lun文）.zip
09-15
本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。本系统主要针对计算机相关专业的正在做毕业设计的学生和需要项目实战练习的学习者，可作为毕业设计、课程设计、期末大作业。
旅行智能推荐系统.zip
09-15
本项目旨在开发一个智能旅行推荐系统。该系统利用Yelp数据集，采用混合的内容推荐和协同过滤方法为用户提供个性化的旅行建议。通过整合React前端和fla后sk端技术，系统提供了一个无缝的用户体验，能够分析用户偏好和行为，并根据这些信息进行定制化的推荐。此外，该系统具有适应性，随着用户交互的持续进行，能够不断完善推荐结果。整体而言，这是一个结合了先进推荐算法和现代化Web技术的先进项目，旨在为用户提供更加智能和个性化的旅行建议。 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。
自己整理的Ansible 自动化运维实战笔记分享给需要的同学.zip
最新发布
09-15
自己整理的Ansible 自动化运维实战笔记分享给需要的同学.zip
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值