Nginx+Keepalived实现HA高可用的主从热备，负载均衡，反向代理详细流程

最新推荐文章于 2024-07-19 11:44:44 发布
最新推荐文章于 2024-07-19 11:44:44 发布
阅读量855 收藏 7
点赞数
文章标签： nginx linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013823545/article/details/108240344
版权

前言

使用集群是网站解决高并发、海量数据问题的常用手段。当一台服务器的处理能力、存储空间不足时，不要企图去换更强大的服务器，对大型网站而言，不管多么强大的服务器，都满足不了网站持续增长的业务需求。这种情况下，更恰当的做法是增加一台服务器分担原有服务器的访问及存储压力。通过负载均衡调度服务器，将来自浏览器的访问请求分发到应用服务器集群中的任何一台服务器上，如果有更多的用户，就在集群中加入更多的应用服务器，使应用服务器的负载压力不再成为整个网站的瓶颈。
摘自《大型网站技术架构_核心原理与案例分析》

认识Nginx+keepalived

keepalived：Keepalived主要用作RealServer的健康状态检查以及LoadBalance主机和BackUP主机之间failover的实现。提到keepalived我们就会想到一个名词就是高可用，何为高可用？ 高可用就是通过设计来保证机器的高度可用性。举个例子比如现在我们手头有两台互联互通的机器，如果我们有一台在跑服务的时候突然宕机了那我们保证服务的正常运行就要把服务向另一台机器转移了，那如果这个时候机器可以自动来接管，而不影响服务那我们就称之为高可用。
既然知道了高可用的概念，我们就来看一下keepalived是怎么做到的高可用，那我们就要看下keepalived的工作原理：通过vrrp协议实现。
vrrp协议
通过上图我们可以看到，client端在向server端发送请求的时候会通过vrrp协议的vip（虚拟ip）来进行交互。服务端本身都会有物理ip为什么还需要在添加一个虚拟ip呢？高可用是指在两台或者两台机器以上的集群概念，我们为了保证client端请求的稳定性我们引入vip这样虚拟ip他就可以再master宕掉后自动漂移到backup机器上。
keepalived的工作方式：抢占式，非抢占式（下面具体实现里会有两种模式的详细配置介绍）

Nginx

  1. nginx是一个高性能的http和反向代理服务器，特点是占有内存少，并发能力强，在中国大陆许多知名的大公司网站也都在nginx例，例如百度，京东，淘宝，网易，腾讯等

  2. Nginx 的特点
    1.跨平台：Nginx可以大多数Unix like Os编译运行，而且也有Windows的移植版本。
    2.非阻塞、高并发连接：数据复制时，磁盘I/O的第一阶段是非阻塞的。官方测试能够支撑5万并发连接，在实际生产环境中跑到2～3万并发连接数.(这得益于Nginx使用了最新的epoll模型)
    3.事件驱动：通信机制采用epoll模型，支持更大的并发连接。
    4.master/worker结构：一个master进程，生成一个或多个worker进程
    5.内存消耗小：处理大并发的请求内存消耗非常小。在3万并发连接下，开启的10个Nginx 进程才消耗150M内存（15M*10=150M）
    6.成本低廉：Nginx为开源软件，可以免费使用。而购买F5 BIG-IP、NetScaler等硬件负载均衡交换机则需要十多万至几十万人民币
    7.内置的健康检查功能：如果 Nginx Proxy 后端的某台 Web 服务器宕机了，不会影响前端访问。
    8.节省带宽：支持 GZIP 压缩，可以添加浏览器本地缓存的 Header 头。
    9.稳定性高：用于反向代理，宕机的概率微乎其微。

  3. Nginx的内部（进程）模型
    Nginx内部模型

具体实现

Nginx+keepalived的安装部署及启停流程
Nginx安装及配置(主备)

  1. 安装编译Nginx所需依赖包
    sudo apt-get install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel (先更新源,ubuntu某些包的名称与centos不一样需要查一下) ubuntu : gcc g++ make automake autoconf libtool libpcre3 libpcre3-dev zlib1g zlib1g.dev openssl libssl-dev
  2. 下载编译安装Nginx
    cd /usr/local/src/
    wget http://nginx.org/download/nginx-1.13.0.tar.gz
    cd /usr/local/src/
    tar -zxvf nginx-1.13.0.tar.gz
    cd nginx-1.13.0
    ./configure --prefix=/usr/local/nginx
    make && make install
  3. NGINX配置（重要）
user  darwin darwin;
worker_processes  4;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;


events {
    worker_connections  4096;
}


http {
    include       mime.types;
    default_type  application/octet-stream;
    client_max_body_size 50m;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    gzip  on;

    upstream prod {
        server 10.3.140.7:9101;
        server 10.3.140.7:9141;
        server 10.3.140.7:9400;
        server 10.3.140.7:9181;
        #server 10.3.140.8:9102;
        #server 10.3.140.8:9142;
        #server 10.3.140.8:9182;
        #server 10.3.140.8:9401;
    }

    #server {
        #listen       8080;
        #server_name 10.3.140.7 localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        #location / {
            #root   html;
            #proxy_pass http://prod;
            #index  index.html index.htm;
        #}

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        #error_page   500 502 503 504  /50x.html;
        #location = /50x.html {
            #root   html;
        #}
        #proxy_connect_timeout    600;
        #proxy_read_timeout       600;
        #proxy_send_timeout       600;  

        # proxy the PHP scripts to Apache listening on 127.0.0.1:80
        #
        #location ~ \.php$ {
        #    proxy_pass   http://127.0.0.1;
        #}

        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
        #
        #location ~ \.php$ {
        #    root           html;
        #    fastcgi_pass   127.0.0.1:9000;
        #    fastcgi_index  index.php;
        #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
        #    include        fastcgi_params;
        #}

        # deny access to .htaccess files, if Apache's document root
        # concurs with nginx's one
        #
        #location ~ /\.ht {
        #    deny  all;
        #}
    #}


    # another virtual host using mix of IP-, name-, and port-based configuration
    #
    #server {
    #    listen       8000;
    #    listen       somename:8080;
    #    server_name  somename  alias  another.alias;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}


    # HTTPS server
    #
    server {
        listen 8080;
        #listen 443;
        ssl on;
        charset gbk;
        ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
        #ssl_protocols TLSv1;
        ssl_certificate      /usr/local/nginx/conf/server.crt;
        ssl_certificate_key  /usr/local/nginx/conf/server.key;
        server_name trnetsvr.iqubic.net;
        #server_name  10.3.140.7 trnetsvr.iqubic.net;
        ssl_session_cache    shared:SSL:20m;
        ssl_session_timeout  3m;
        ssl_ciphers AESGCM:ALL:!DH:!EXPORT:!RC4:+HIGH:!MEDIUM:!LOW:!aNULL:!eNULL;
        ssl_prefer_server_ciphers  on;
        #error_page 497 400  https://$host:8080$request_url;

        location / {
            #root   /usr/local/nginx/html/;
            proxy_pass http://prod;
            index  index.html index.html;
        }
    }
}

具体配置信息请查阅nginx的官方文档。
如果需要添加https的反向代理的需要安装编译openssl模块。（流程请自行百度）

  1. 检查系统防火墙并打开对应的端口

vi /etc/sysconfig/iptables
Nginx -A INPUT -m state --state NEW -m tcp -p tcp --dport 5000 -j ACCEPT
service iptables restart

  1. nginx 启停及测试
    查看nginx版本信息
    /usr/local/nginx/sbin/nginx -V
    测试nginx是否配置成功
    /usr/local/nginx/sbin/nginx -t
    启动nginx
    /usr/local/nginx/sbin/nginx
    停止nginx
    sudo pkill nginx
    动态加载nginx配置（在不停服务的情况下更新配置）
    /usr/local/nginx/sbin/nginx -s reload

Keepalived安装及配置（以较麻烦的Ubuntu为例，centos也适用）

  1. 下载 keepalived，keepalived官方下载地址
  2. 解压安装步骤

tar zxvf keepalived-2.0.15.tar.gz
cp -r keepalived-2.0.15
/usr/local/src
cd /usr/local/src/keepalived-2.0.15/
./configure --prefix=/usr/local/keepalived
make && make install

  1. 使keepalived命令能直接使用
    cp /usr/local/keepalived/sbin/keepalived /sbin/
  2. 创建配置文件并修改（重要）
    mkdir -p /etc/keepalived
    cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
    vim /etc/keepalived/keepalived.conf
    cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
bal_defs {
  notification_email {
      wanghao5276@163.com
bal_defs {
  notification_email {
      wanghao5276@163.com
 }
    notification_email_from wanghao5276@163.com
    smtp_server 127.0.0.1
    smtp_connect_timeout 30
    router_id LVS_DEVEL
 }

 vrrp_script chk_nginx {
    script  "/home/darwin/check_nginx.sh"
    interval 2
    weight 2
 }
 # VIP1
 vrrp_instance VI_1 {
     state MASTER
     interface bond0
     lvs_sync_daemon_inteface eth0
     virtual_router_id 150
     priority 100
     advert_int 5
     nopreempt
     authentication {
         auth_type  PASS
         auth_pass  1111

     }
     virtual_ipaddress {
         10.3.140.10
     }
     track_script {
     chk_nginx
    }
     smtp_alert
 }

配置具体信息请查询keepalived官方文档。

  1. 创建检查nginx状态的脚本
    1. 实时监测nginx进程并瞬间重启nginx的脚本（注意权限）
#!/bin/bash 
#auto  check  nginx  process 
#by  author  wanghao 
A=`ps -C nginx --no-header | wc -l`
if [ $A -eq 0 ];then
        /usr/local/nginx/sbin/nginx     #检测nginx进程数为0，重启下nginx
        if [`ps -C nginx --no-header | wc -l` -eq 0];then       #如果nginx重启失败了，则关掉keepalived转移vip
                killall keepalived
        fi
fi


2. 检测keepalived进程并重启脚本

#!/bin/bash 
#auto  check  nginx  process 
#by  author  wanghao 
A=`ps -C keepalived --no-header | wc -l`
if [ $A -eq 0 ];then
        sudo /etc/init.d/keepalived start       #检测keepalived进程数为0，重启下keepalived
        python /etc/keepalived/sendmail.py
fi

3. 发送邮件脚本（python实现）

#-*- coding: UTF-8 -*- 
import smtplib
import socket
import time
from email.header import Header
from email.mime.text import MIMEText

# 第三方 SMTP 服务
mail_host = "smtp.163.com"  # SMTP服务器
mail_user = "wanghao5276@163.com"  # 用户名
mail_pass = "TUNTWNHQWGCVUNQG"  # 授权密码，非登录密码

sender = 'wanghao5276@163.com'  # 发件人邮箱(最好写全, 不然会失败)
receivers = [ '1214088649@qq.com']  # 接收邮件，可设置为你的QQ邮箱或者其他邮箱

# 获取本机计算机名称
hostname = socket.gethostname()
# 获取本机ip
#-*- coding: UTF-8 -*- 
import smtplib
import socket
import time
from email.header import Header
from email.mime.text import MIMEText

# 第三方 SMTP 服务
mail_host = "smtp.163.com"  # SMTP服务器
mail_user = "wanghao@163.com"  # 用户名
mail_pass = "TUNTWNHQWGCVUNQG"  # 授权密码，非登录密码

sender = 'wanghao@163.com'  # 发件人邮箱(最好写全, 不然会失败)
receivers = [ 'wanghao@qq.com']  # 接收邮件，可设置为你的QQ邮箱或者其他邮箱

# 获取本机计算机名称
hostname = socket.gethostname()
# 获取本机ip
ip_str = socket.gethostbyname(hostname)

content = "keepalived: %s change to state,please check and restore. Start method: sudo /etc/init.d/keepalived start.And check the status." % (ip_str)
title = 'Nginx-Keepalived服务告警信息-{}'.format(time.asctime( time.localtime(time.time()) ))  # 邮件主题


def sendEmail():
    message = MIMEText(content, 'plain', 'utf-8')  # 内容, 格式, 编码
    message['From'] = "{}".format(sender)
    message['To'] = ",".join(receivers)
    message['Subject'] = title

    try:
        smtpObj = smtplib.SMTP_SSL(mail_host, 465)  # 启用SSL发信, 端口一般是465
        smtpObj.login(mail_user, mail_pass)  # 登录验证
        smtpObj.sendmail(sender, receivers, message.as_string())  # 发送
        print("mail has been send successfully.")
    except smtplib.SMTPException as e:
        print(e)


def send_email2(SMTP_host, from_account, from_passwd, to_account, subject, content):
    email_client = smtplib.SMTP(SMTP_host)
    email_client.login(from_account, from_passwd)
    # create msg
    msg = MIMEText(content, 'plain', 'utf-8')
    msg['Subject'] = Header(subject, 'utf-8')  # subject
    msg['From'] = from_account
    msg['To'] = to_account
    email_client.sendmail(from_account, to_account, msg.as_string())
    email_client.quit()
    
if __name__ == '__main__':
    sendEmail()

设置服务启动

复制服务脚本
cp keepalived-2.0.15/keepalived/etc/init.d/keepalived /etc/init.d/
#注意：上面的服务启动脚本是在源文件目录，而不是安装目录（/usr/local/keepalived）下，这是2.0之后的变化。

修正相关配置问题
vim /etc/init.d/keepalived 可以看到下图内容，其中有3个地方有问题。

图中1: 由于 ubuntu下没有 /etc/rc.d/init.d/functions，需要为其建立软链接

mkdir -p /etc/rc.d/init.d
ln -s /lib/lsb/init-functions /etc/rc.d/init.d/functions

图中2：拷贝相应文件的源配置文件

注释内容有介绍 ,这个源配置文件（在里面设置keepalived启动参数）

mkdir /etc/sysconfig
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

图中3：安装daemon,并修改命令

  1. 安装 daemon: apt install daemon

  2. 图中3的命令 修改为daemon – keepalived ${KEEPALIVED_OPTIONS} #加了一个“–”

说明：命令里的变量 ${KEEPALIVED_OPTIONS} 是在/etc/sysconfig/keepalived里设置的，默认内容如

这里的-D 代表记录详细日志。那么命令 daemon keepalived ${KEEPALIVED_OPTIONS}的结果是

daemon keepalived -D

这个命令是有问题的，其中的-D本来是给keepalived用的，但这样组合后被认为是daemon命令的参数。这会导致服务不能启动。 如果不修改，会提示启动失败，但却不输出具体信息。但可以通过查看 /var/log/syslog 找到错误信息

$Starting keepalived: daemon: option requires an argument -- 'D' 。这是一个底层错误，所以只在系统日志里看到。

 执行  daemon --help， 可以看到帮助信息

   

可以看出， daemon命令的-D参数是需要一个path参数的，所以会出现系统日志里的错误。
由 usage: daemon [options] [--] [cm arg...]，可知正确的命令格式应该是:daemon -- keepalived -D
所以上面力中标示的第3处，应该修改为 daemon -- keepalived ${KEEPALIVED_OPTIONS}

注意：每次修改/etc/init.d/keepalived后，需要重新运行 systemctl daemon-reload 重新加载服务脚本

启动测试(两台都启动)

systemctl daemon-reload #重新加载服务
service keepalived start #启动keealived服务
service keepalived status #可以查看运行状态
ip a #查看是否占用了VIP，只有主服务器可以占用，主有问题时，才会漂移到从服务器，并且从服务器状态变为MASTER
如果启动出现问题，除了这里的输出信息，还可以通过 /var/log/syslog来查看问题

正常状态是

  1. 在任意一台服务器上关闭nginx，会发现keepalived自动重启nginx

  2. 关闭任意一台服务器，VIP漂移到另一台服务器

本文章以理论-实践的一整套搭建Nginx+keepalived实现HA高可用的主从热备，负载均衡，反向代理流程。由于本人水平有限，文章中难免存在一些错误或疏漏，恳请读者批评指正，在评论区讨论交流。

Winston.H
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Nginx(haproxy)+keepalived+Tomcat双主高可用负载均衡
Perfectmyself_的博客
07-31 710
周末的时候一个正在学的的Linux的朋友问我，高可用怎么玩？我和他微信了将近三个小时，把Nginx的的和HAProxy的的双主高可用教给他了，今天突然想把这个给写进博客里，供给那些正在学习的的Linux系统的朋友们，希望能够有所帮助！（如果内容中有误，还望大家指出！） 常见的网络集群调度器： 调度器分为软件和硬件两种，常见软件：lvs nginx haproxy等              ...
【Nginx】学习笔记 02 - Nginx + Keepalived 实现 HA（High-Availability） 双机热备
MichelleChung的星球
05-09 1484
Nginx + Keepalived 实现 HA（High-Availability） 双机热备。
Keepalived+Nginx实现高可用（HA）
热门推荐
技术改变生活
09-17 3万+
keepalived的HA分为抢占模式和非抢占模式，抢占模式即MASTER从故障中恢复后，会将VIP从BACKUP节点中抢占过来。非抢占模式即MASTER恢复后不抢占BACKUP升级为MASTER后的VIP。下面分别介绍CentOS7下抢占模式和非抢占模式的配置方式：
keepalived+haproxy实现nginx高可用负载均衡
草莓甜甜圈的博客
11-26 7183
一、keepalived简介 Keepalived是基于vrrp协议的一款高可用软件。Keepailived有一台主服务器和多台备份服务器，在主服务器和备份服务器上面部署相同的服务配置，使用一个虚拟IP地址对外提供服务，当主服务器出现故障时，虚拟IP地址会自动漂移到备份服务器。 VRRP（Virtual Router Redundancy Protocol，虚拟路由器冗余协议），VRRP是为了...
nginx + keepalived 实现HA 主从模式
付哥的技术课堂
06-15 1016
1、安装keepalived 官方下载最新版： keepalived-1.2.17.tar.gz tar -zxvf keepalived-1.2.17.tar.gz 解压 cd keepalived-1.2.17 提前安装工具 yum install -y popt-devel 另外的在nginx安装时已经安装了。 然后： ./configure make && make
Nginx+Keepalived实现nginx高可用和负载均衡详细步骤
02-10
【Nginx+Keepalived 实现 nginx 高可用和负载均衡详解】 在现代Web服务架构中，确保服务器高可用性和负载均衡至关重要。Nginx作为一款高性能的HTTP和反向代理服务器，常用于处理静态内容和反向代理任务。而...
Nginx+keepalived双机热备（主从模式）
01-19
Nginx+keepalived双机热备（主从模式）是一种常见的负载均衡技术，用于实现高可用环境和故障转移。该技术通过将Nginx与keepalived结合，实现了前端负载均衡和高可用性。 Nginx是一款流行的开源Web服务器软件，具有...
高可用之Keepalived+Nginx实现高可用Web负载均衡
11-07
"高可用之Keepalived+Nginx实现高可用Web负载均衡" Keepsalived 和 Nginx 是实现高可用 Web 负载均衡的关键技术。Keepalived 是一种高性能的服务器高可用或热备解决方案，可以防止服务器单点故障的发生，而 Nginx ...
Nginx+Keepalived实现nginx高可用详细步骤.docx
12-15
Nginx+Keepalived实现nginx高可用详细步骤 本文档将详细介绍使用Nginx+Keepalived实现nginx高可用的详细步骤。高可用性是指系统或服务在出现故障时能够快速恢复或切换到备份系统的能力，以确保服务的连续性和可靠性...
Docker+keepalived+nginx实现主从热备的方法示例
09-29
主要介绍了Docker+keepalived+nginx实现主从热备的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Nginx笔记(二)----Nginx高可用(HA)之Keepalived
fendo
05-28 1855
一、Keepalived简介Keepalived是一个免费开源的，用C编写的类似于layer3, 4 & 7交换机制软件，具备我们平时说的第3层、第4层和第7层交换机的功能。Keepalived是Linux下一个轻量级别的高可用解决方案。高可用(High Avalilability,HA)，其实两种不同的含义：广义来讲，是指整个系统的高可用行，狭义的来讲就是之主机的冗余和接管，Keepal...
keepalived高可用与nginx反向代理实战
南风喃的博客
08-14 440
1.环境 2.查看nginx与keepalived的配置 2.1查看lb-01主节点配置 2.2查看lb-02备节点配置 3.启动nginx+keepalived 4.测试nginx反向代理 4.1lb-01主节点测试nginx反向代理 4.2lb-02备节点测试nginx反向代理 5.测试keepalived 5.1关掉主节点的keepalived后，查看备节点是否接管 5.2开启主...
LINUX:懒汉单例模式线程池
W2155的博客
07-16 485
创建一个线程，就是要这个线程去完成某种任务的。池化技术就是，提前创建一批线程，有任务这一批线程就会执行。而不是有任务的时候在去创建线程。池化技术有着更高的效率，因为线程都是提前创建好的，直接执行任务。
Linux中的环境变量
qhy850716的博客
07-17 444
我们思考这样一个问题：指令也是可执行程序，我们写好的编译好的c语言也是程序，为什么我们在执行c语言程序时要./a.out带上当前路径，而ls这种指令就不要带路径呢？这就是环境变量PATH的作用，Linux中存在一些全局设置，表明命令行解释器应该去哪个路径下寻找可执行程序。系统中的很多配置在我们登录Linux时就已经被加载到bash中了，也就是内存。
Qmi8658a姿态传感器使用心得（2）linux
最新发布
Starry的博客
07-19 953
COD 原理，CTRL9，自检（详细代码示例）
【Linux杂货铺】期末总结篇4：shell编程
聆风吟的博客
07-17 4280
本文主要分享作者本人期末复习的总结，欢迎大家借鉴浏览。
linux centos nginx 报错 client intended to send too large body: 104853014 bytes问题
qq_42250832的博客
07-17 341
这个错误通常发生在Web服务器处理HTTP请求时，当客户端尝试发送的请求体（body）大小超过了服务器配置的限制时。错误信息 “client intended to send too large body: 104853014 bytes” 表示客户端想要发送的数据量超过了100MB，这通常是由于客户端尝试上传一个非常大的文件或者提交了一个非常大的表单。增加服务器接收请求体的大小限制。这通常可以通过配置文件来实现，例如，如果你使用的是Nginx，可以修改client_max_body_size指令。
Nginx+keepalived构建高可用：主从与双主模式详解
`nginx`是一款高性能的反向代理服务器，常用于负载均衡和静态内容的处理；而`keepalived`则是一个网络服务，用于提供虚拟IP（VIP）和健康检查，确保在主服务器故障时能够自动切换到备用服务器。 首先，我们来看第一...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值