haproxy 安装与配置

http://www.cnblogs.com/moss_tan_jun/p/6616472.html

http://www.linuxidc.com/Linux/2015-06/118968.htm

 

一. Haproxy 介绍

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。根据官方数据,其最高极限支持10G的并发。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服务器不被暴露到网络上。

其支持从4层至7层的网络交换,即覆盖所有的TCP协议。就是说,Haproxy 甚至还支持 Mysql 的均衡负载。如果说在功能上,能以proxy反向代理方式实现 WEB均衡负载,这样的产品有很多。包括 Nginx,ApacheProxy,lighttpd,Cheroke 等。 

但要明确一点的,Haproxy并不是Http服务器。以上提到所有带反向代理均衡负载的产品,都清一色是WEB服务器。简单说,就是他们能自个儿提供静态(html,jpg,gif..)或动态(php,cgi..)文件的传输以及处理。而Haproxy仅仅,而且专门是一款的用于均衡负载的应用代理。其自身并不能提供http服务。 

 

HAProxy的算法有如下8种:

1. roundrobin,表示简单的轮询

2. static-rr,表示根据权重, 

3. leastconn,表示最少连接者先处理, 

4. source,表示根据请求源IP, 

5. uri,表示根据请求的URI;

6. url_param,表示根据请求的URl参数'balance url_param' requires an URL parameter name

7. hdr(name),表示根据HTTP请求头来锁定每一次HTTP请求;

8. rdp-cookie(name),表示根据据cookie(name)来锁定并哈希每一次TCP请求。

 

二. Haproxy 编译安装

1. 编译安装

tar zxf  haproxy-1.4.22.tar.gz 

tar zxf keepalived-1.2.7.tar.gz

uname -r

make TARGET=linux26 PREFIX=/usr/local/haproxy

make install PREFIX=/usr/local/haproxy

 

2. cp模板文件

 

cp -ar examples /usr/local/haproxy/

rsync -arvz /usr/local/haproxy/share/man /usr/share/

cp -ar tests /usr/local/haproxy/

cp doc/configuration.txt /usr/local/haproxy/

rsync -arvz soft/haproxy-1.4.22/examples/errorfiles /usr/local/haproxy/

cp examples/haproxy.cfg /usr/local/haproxy/etc/

cp examples/haproxy.init /etc/init.d/haproxy

 

3. Init 脚本的配置,需要修改,在后面介绍

 

chmod a+x /etc/init.d/haproxy

chkconfig --add haproxy

 

4. selinux 的配置

 

#yum install selinux-policy-devel

#cd contrib/selinux/

#make -f /usr/share/selinux/devel/Makefile

#sudo semodule -i haproxy.pp

#restorecon /usr/sbin/haproxy /etc/haproxy/haproxy.cfg /var/run/haproxy.pid /var/run/haproxy.sock*

#mkdir /usr/local/haproxy/etc

 

 

4. 日志支持,接口和你自己定义的有关系

 

#vim /etc/syslog.conf 

    local3.*        /var/log/haproxy.log 

    local0.*        /var/log/haproxy.log 

#vim /etc/sysconfig/syslog 

    SYSLOGD_OPTIONS="-r -m 0" 

#service syslog restart 

 

5. Haproxy的相关启动参数

 

# /usr/local/haproxy/sbin/haproxy –help 

haproxy -f < 配置文件>

[-n 最大并发连接总数] [-N 每个侦听的最大并发数] [-d] [-D] [-q] [-V] [-c] [-p ] [-s] [-l] [-dk]

[-ds] [-de] [-dp] [-db] [-m < 内存限制M>] [{-sf|-st} pidlist...]

-d  前台,debug模式

-D  daemon模式启动

-q  安静模式,不输出信息

-V  详细模式

-c 对配置文件进行语法检查

-s  显示统计数据

-l  显示详细统计数据

-dk 不使用kqueue

-ds 不使用speculative epoll

-de 不使用epoll

-dp 不使用poll

-db 禁用后台模式,程序跑在前台

-sf 程序启动后向pidlist里的进程发送FINISH信号,这个参数放在命令行的最后

-st 程序启动后向pidlist里的进程发送TERMINATE信号,这个参数放在命令行的最后

 

列:

# /usr/local/haproxy/sbin/haproxy -c  -f /usr/local/haproxy/etc/haproxy.cfg  # 对haproxy 语法做检查

# /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/etc/haproxy.cfg -sf `cat /var/run/haproxy.pid` # reload

# killall haproxy 或者 kill -9 `pidof haproxy`

 

三. Haproxy 配置文件解说

   

# cat /usr/local/haproxy/etc/haproxy.cfg 

 

####################全局配置信息#############参数是进程级的,通常和操作系统(OS)相关######### 

global 

       maxconn 20480                    #默认最大连接数 

       log 127.0.0.1 local3             #[err warning info debug] 

       chroot /usr/local/haproxy        #chroot运行的路径 

       uid 99                          #所属运行的用户uid 

       gid 99                           #所属运行的用户组 

       daemon                          #以后台形式运行haproxy 

       nbproc 1                        #进程数量(可以设置多个进程提高性能) 

       pidfile /var/run/haproxy.pid     #haproxy的pid存放路径,启动进程的用户必须有权限访问此文件 

       ulimit-n 65535                   #ulimit的数量限制 

 

 

       #####################默认的全局设置##############这些参数可以被利用配置到frontend,backend,listen组件## 

defaults 

       log global 

       mode http                        #所处理的类别 (#7层 http;4层tcp  ) 

       maxconn 20480                   #最大连接数 

       option httplog                   #日志类别http日志格式 

       option httpclose                 #每次请求完毕后主动关闭http通道 

       option dontlognull               #不记录健康检查的日志信息 

       option forwardfor               #如果后端服务器需要获得客户端真实ip需要配置的参数,可以从Http Header中获得客户端ip  

       option redispatch               #serverId对应的服务器挂掉后,强制定向到其他健康的服务器  

       option abortonclose              #当服务器负载很高的时候,自动结束掉当前队列处理比较久的连接 

       stats refresh 30                 #统计页面刷新间隔 

       retries 3                        #3次连接失败就认为服务不可用,也可以通过后面设置 

       balance roundrobin               #默认的负载均衡的方式,轮询方式 

      #balance source                   #默认的负载均衡的方式,类似nginx的ip_hash,可以固定session

      #balance leastconn                 #默认的负载均衡的方式,最小连接 

       contimeout 5000                  #连接超时5s , 单位是ms

       clitimeout 50000                 #客户端超时 

       srvtimeout 50000                #服务器超时 

       timeout check 2000               #心跳检测超时 

 

#注: 时间的设置,单位为毫秒ms

1ms = 1/1000 second

1m = 60s = 60000 ms

1h = 60m = 3600s 

1d = 24h = 1440m = 86400s = 864000000ms 

 

       ####################监控页面的设置####################### 

listen admin_status                     #Frontend和Backend的组合体,监控组的名称,按需自定义名称 

        bind :65532                  #监听端口 

        mode http                      #http的7层模式 

        log 127.0.0.1 local3 err        #错误日志记录 

        stats refresh 5s               #每隔5秒自动刷新监控页面 

        stats uri /admin?stats          #监控页面的url 

        stats realm Haproxy\ Statistics  #监控页面的提示信息 

        stats auth yangcan:yangcan      #监控页面的用户和密码yangcan,可以设置多个用户名 

       #stats auth admin:admin        #监控页面的用户和密码admin

        stats hide-version              #隐藏统计页面上的HAproxy版本信息  

        stats admin if TRUE           #手工启用/禁用,后端服务器(haproxy-1.4.9以后版本) 

 

 

    

       #######################网站监测listen配置##################### 

       ###########此用法主要是监控haproxy后端服务器的监控状态############ 

listen site_status 

       bind :1081                     #监听端口 

       mode http                            #http的7层模式 

       log 127.0.0.1 local3 err              #[err warning info debug] 

       monitor-uri /site_status              #网站健康检测URL,用来检测HAProxy管理的网站是否可以用,正常返回200,不正常返回503 

       acl site_dead nbsrv(server_web)  lt 2  #定义网站down时的策略当挂在负载均衡上的指定backend的中有效机器数小于2台时返回true 

       acl site_dead nbsrv(server_blog)  lt 2 

       acl site_dead nbsrv(server_bbs)   lt 2  

       monitor fail if site_dead             #当满足策略的时候返回503,网上文档说的是500,实际测试为503 

       monitor-net 10.0.0.103/24            #来自10.0.0.103的日志信息不会被记录和转发 

       monitor-net 10.0.0.25/24 

 

       ########frontend配置############ 

       #####注意,frontend配置里面可以定义多个acl进行匹配操作######## 

frontend http_80_in 

       bind :80            #监听端口,即haproxy提供web服务的端口,和lvs的vip端口类似 

       mode http             #http的7层模式 

       log global            #应用全局的日志配置 

       option httplog        #启用http的log 

       option httpclose      #每次请求完毕后主动关闭http通道,HA-Proxy不支持keep-alive模式 

       option forwardfor     #如果后端服务器需要获得客户端的真实IP需要配置次参数,将可以从Http Header中获得客户端IP 

 

        errorfile 403 /etc/haproxy/errorfiles/403.http 

       errorfile 500 /etc/haproxy/errorfiles/500.http 

        errorfile 502 /etc/haproxy/errorfiles/502.http 

        errorfile 503 /etc/haproxy/errorfiles/503.http 

        errorfile 504 /etc/haproxy/errorfiles/504.http 

 

       ################# HAProxy的日志记录内容设置 ################### 

       capture request  header Host           len 40 

       capture request  header Content-Length len 10 

       capture request  header Referer         len 200 

       capture response header Server           len 40 

       capture response header Content-Length    len 10 

       capture response header Cache-Control    len 8 

 

       ########acl策略配置############# 

       acl baby_web hdr_reg(host) -i ^(blog80.baby.local |station80.baby.local)$    

#如果请求的域名满足正则表达式中的2个域名返回true -i是忽略大小写,主要用于redirect到www80.baby.local上; 

       acl baby_blog hdr_dom(host) -i www80.baby.local 

#如果请求的域名满足www80.baby.local 返回true -i是忽略大小写 

       #acl baby    hdr(host) -i baby.local 

#如果请求的域名满足baby.local 返回true -i是忽略大小写 

       #acl file_req url_sub -i  killall= 

#在请求url中包含killall=,则此控制策略返回true,否则为false 

       #acl dir_req url_dir -i allow 

#在请求url中存在allow作为部分地址路径,则此控制策略返回true,否则返回false 

       #acl missing_cl hdr_cnt(Content-length) eq 0 

#当请求的header中Content-length等于0时返回true 

 

       ########acl策略匹配相应############# 

       #block if missing_cl 

#当请求中header中Content-length等于0阻止请求返回403 

       #block if !file_req || dir_req 

#block表示阻止请求,返回403错误,当前表示如果不满足策略file_req,或者满足策略dir_req,则阻止请求 

       redirect prefix http://www80.baby.local code 301 if baby

#当访问itnihao.cn的时候,用http的301挑转到http://10.0.0.103 

       reqisetbe       ^[^\]*\/(img|css)/       server_web 

       reqisetbe       ^[^\]*\/bbs/             server_blog 

# reqisetbe 关键字定义,根据定义的关键字选择backend

 

       use_backend  server_web  if  baby_web

#当满足baby_web的策略时使用server_web的backend 

       use_backend  server_blog if baby_log 

#当满足baby_log的策略时使用server_blog的backend 

       default_backend server_bbs 

#以上都不满足的时候使用默认server_bbs的backend 

 

# 注: redirect 和 reqisetbe 需要放置在 use_backend 之前

 

       ##########backend的设置############## 

   #下面我将设置三组服务器 server_web,server_blog,server_bbs

   

###########################backend server_web############################# 

backend server_web 

       mode http            #http的7层模式 

       balance roundrobin   #负载均衡的方式,roundrobin平均方式 

       cookie SERVERID      #允许插入serverid到cookie中,serverid后面可以定义 

       option httpchk GET /index.html #心跳检测的文件 

       server web1 10.0.0.25:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1  

#服务器定义,cookie 1表示serverid为web1,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用, 

#fall 3是3次失败认为服务器不可用,weight代表权重 

       server web2 10.0.0.103:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2 

#服务器定义,cookie 1表示serverid为web2,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用, 

#fall 3是3次失败认为服务器不可用,weight代表权重 

 

###################################backend server_blog############################################### 

backend server_blog 

       mode http  

       balance roundrobin

       cookie SERVERID 

       option httpchk GET /index.html 

       server blog1 10.0.0.25:80 cookie blog1 check inter 1500 rise 3 fall 3 weight 1  

       server blog2 10.0.0.103:80 cookie blog2 check inter 1500 rise 3 fall 3 weight 2 

 

 

###################################backend server_bbs############################################### 

 

backend server_bbs 

       mode http     

       balance roundrobin 

       cookie SERVERID  

       option httpchk GET /index.html 

       server bbs1 10.0.0.25:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1  

       server bbs2 10.0.0.103:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2 

 

 

################################### 虚拟主机的配置支持############################################### 

 

listen blog80.baby.local 0.0.0.0:80 

       mode http     

       balance roundrobin 

       cookie SERVERID  

       option httpchk GET /index.html 

       server bbs1 10.0.0.25:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1  

       server bbs2 10.0.0.103:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2 

   

listen bbs.baby.local 0.0.0.0:80 

       mode http     

       balance roundrobin 

       cookie SERVERID  

       option httpchk GET /index.html 

       server bbs1 10.0.0.25:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1  

       server bbs2 10.0.0.103:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2 

 

 

四. Haproxy init 启动脚本    

[root@www80 ~]# cat /etc/init.d/haproxy   

#!/bin/sh

#

# chkconfig: - 85 15

# description: HA-Proxy is a TCP/HTTP reverse proxy which is particularly suited \

#              for high availability environments.

# processname: haproxy

# config: /etc/haproxy/haproxy.cfg

# pidfile: /var/run/haproxy.pid

 

# Script Author: Simon Matter <simon.matter@invoca.ch>

# Version: 2004060600

 

# Source function library.

if [ -f /etc/init.d/functions ]; then

  . /etc/init.d/functions

elif [ -f /etc/rc.d/init.d/functions ] ; then

  . /etc/rc.d/init.d/functions

else

  exit 0

fi

 

# Source networking configuration.

. /etc/sysconfig/network

 

# Check that networking is up.

[ ${NETWORKING} = "no" ] && exit 0

 

HAPROXYDIR=/usr/local/haproxy

BASENAME=haproxy

 

# This is our service name

#BASENAME=`basename $0`

#if [ -L $0 ]; then

#  BASENAME=`find $0 -name $BASENAME -printf %l`

#  BASENAME=`basename $BASENAME`

#fi

 

[ -f $HAPROXYDIR/etc/$BASENAME.cfg ] || exit 1

 

RETVAL=0

 

start() {

  $HAPROXYDIR/sbin/$BASENAME -c -q -f $HAPROXYDIR/etc/$BASENAME.cfg

  if [ $? -ne 0 ]; then

    echo "Errors found in configuration file, check it with '$BASENAME check'."

    return 1

  fi

 

  echo -n "Starting $BASENAME: "

  daemon $HAPROXYDIR/sbin/$BASENAME -D -f $HAPROXYDIR/etc/$BASENAME.cfg -p /var/run/$BASENAME.pid

  RETVAL=$?

  echo

  [ $RETVAL -eq 0 ] && touch /var/lock/subsys/$BASENAME

  return $RETVAL

}

 

stop() {

  echo -n "Shutting down $BASENAME: "

  killproc $BASENAME -USR1

  RETVAL=$?

  echo

  [ $RETVAL -eq 0 ] && rm -f /var/lock/subsys/$BASENAME

  [ $RETVAL -eq 0 ] && rm -f /var/run/$BASENAME.pid

  return $RETVAL

}

 

restart() {

  $HAPROXYDIR/sbin/$BASENAME -c -q -f $HAPROXYDIR/etc/$BASENAME.cfg

  if [ $? -ne 0 ]; then

    echo "Errors found in configuration file, check it with '$BASENAME check'."

    return 1

  fi

  stop

  start

}

 

reload() {

  $HAPROXYDIR/sbin/$BASENAME -c -q -f $HAPROXYDIR/etc/$BASENAME.cfg

  if [ $? -ne 0 ]; then

    echo "Errors found in configuration file, check it with '$BASENAME check'."

    return 1

  fi

  $HAPROXYDIR/sbin/$BASENAME -D -f $HAPROXYDIR/etc/$BASENAME.cfg -p /var/run/$BASENAME.pid -sf $(cat /var/run/$BASENAME.pid)

}

 

check() {

  $HAPROXYDIR/sbin/$BASENAME -c -q -V -f $HAPROXYDIR/etc/$BASENAME.cfg

}

 

rhstatus() {

  status $BASENAME

}

 

condrestart() {

  [ -e /var/lock/subsys/$BASENAME ] && restart || :

}

 

# See how we were called.

case "$1" in

  start)

    start

    ;;

  stop)

    stop

    ;;

  restart)

    restart

    ;;

  reload)

    reload

    ;;

  condrestart)

    condrestart

    ;;

  status)

    rhstatus

    ;;

  check)

    check

    ;;

  *)

    echo $"Usage: $BASENAME {start|stop|restart|reload|condrestart|status|check}"

    exit 1

esac

 

exit $?

 

五. Haproxy 测试

/  测试 roundrobin 算法 ///

 

# for i in $(seq 10) 

do

curl http://www80.baby.local/index.html

done

++++++++++++++++++++++++++

nameserver 10.0.0.25

node 103 

nameserver 10.0.0.25

node 103 

nameserver 10.0.0.25

node 103 

nameserver 10.0.0.25

node 103 

nameserver 10.0.0.25

node 103 

 

 

六. Haproxy 维持session 的三种方法

 

1. session知识储备

Session是由应用服务器维持的一个服务器端的存储空间,用户在连接服务器时,会由服务器生成一个唯一的SessionID,用该SessionID 为标识符来存取服务器端的Session存储空间。

而SessionID这一数据则是保存到客户端,用Cookie保存的,用户提交页面时,会将这一 SessionID提交到服务器端,来存取Session数据。服务器也通过URL重写的方式来传递SessionID的值,因此不是完全依赖Cookie。如果客户端Cookie禁用,则服务器可以自动通过重写URL的方式来保存Session的值,并且这个过程对程序员透明。

 

2. Php.ini 设置

php.ini 里几个session相关值的 其它的值请参考《PHP与Mysql5程序设计》

session.use_cookies = 1   #表示 服务端和客户端交互session是通过cookie的方式 默认值

session.name = PHPSESSID         #默认值是PHPSESSID 

session.cache_limiter = nocache  #此设置确保对每个请求,在可能提供缓存的版本前,先请求发送到最初的服务器。这个值联系到下文中 cookie识别中的相关参数

 

3. haproxy三种方法保持客户端session一致

3.1 用户IP 识别  

haroxy 将用户IP经过hash计算后 指定到固定的真实服务器上(类似于nginx 的IP hash 指令)

balance source

3.2 cookie 识别  

haproxy 将WEB服务端发送给客户端的cookie中插入(或添加加前缀)haproxy定义的后端的服务器COOKIE ID。

cookie  SESSION_COOKIE  insert indirect nocache

用firebug可以观察到用户的请求头的cookie里 有类似" Cookie PHPSESSID=0bc588656ca05ecf7588c65f9be214f5; SESSION_COOKIE=12" SESSION_COOKIE=12就是haproxy添加的内容

    3.3 session 识别  

haproxy 将后端服务器产生的session和后端服务器标识存在haproxy中的一张表里。客户端请求时先查询这张表。

appsession PHPSESSID len 64 timeout 5h request-learn

 

 

 

4. 测试seesion 固定, 这是一个php脚本,

    <?php

    session_start();

    $_SESSION['time'] =date("Y:m:d:H:s",time());

    echo "本次访问时间"."<font color=red>".$_SESSION['time']."</font>"."<br>";

    echo "访问的服务器地址是"."<font color=red>".$_SERVER['SERVER_ADDR']."</font>"."<br>";

    echo "访问的服务器域名是"."<font color=red>".$_SERVER['SERVER_NAME']."</font>"."<br>";

    echo "SESSIONNAME是"."<font color=red>".session_name()."</font>"."<br>";

    echo "SESSIONID是"."<font color=red>".session_id()."</font>"."<br>";

    ?>

 

 

七. Haproxy + keepalived 的高可用

1. Keepalived 的编译安装

tar zxf keepalived-1.2.7.tar.gz 

cd keepalived-1.2.7

./configure --sysconfdir=/etc

make && make install

 

2. 配置文件

 

# vi /etc/keepalived/keepalived.conf 

 

! Configuration File for keepalived

 

global_defs {

   notification_email {

     root@www80.baby.local

   }

   notification_email_from root@www80.baby.local

   smtp_server 127.0.0.1

   smtp_connect_timeout 30

   router_id LVS_DEVEL

}

 

vrrp_script chk_haproxy {

   script "killall -0 haproxy"

   interval 2

   weight 2

 

}

 

vrrp_instance VI_1 {

    state MASTER # 在备份机器上改成BACKUP

    interface eth0

    virtual_router_id 51

    priority 100 # 备份机器优先级比100要低

    advert_int 2

    grap_master_delay 1

    authentication {

        auth_type PASS

        auth_pass yangcan

    }

    track_interface {

        eth0

    }

    virtual_ipaddress {

        10.0.0.144

    }

    track_script {

        chk_haproxy

    }

 

#    notify_master "/etc/keepalived/Mailnotify.py master"

#    notify_backup "/etc/keepalived/Mailnotify.py backup"

#    notify_fault "/etc/keepalived/Mailnotify.py fault"

}

 

 

haproxy是一款功能强大、灵活好用反向代理软件,提供了高可用、负载均衡、后端服务器代理的功能,它在7层负载均衡方面的功能很强大(支持cookie track, header rewrite等等),支持双机热备,支持虚拟主机,拥有非常不错的服务器健康检查功能,当其代理的后端服务器出现故障, HAProxy会自动将该服务器摘除,故障恢复后再自动将该服务器加入;同时还提供直观的监控页面,可以清晰实时的监控服务集群的运行状况。   

--------------------------------------------------------------------------------
    在四层(tcp)实现负载均衡的软件:
    lvs------>重量级
    nginx------>轻量级,带缓存功能,正则表达式较灵活
    haproxy------>模拟四层转发,较灵活
    在七层(http)实现反向代理的软件:
    haproxy------>天生技能,全面支持七层代理,会话保持,标记,路径转移;
    nginx------>只在http协议和mail协议上功能比较好,性能与haproxy差不多;
    apache------>功能较差

--------------------------------------------------------------------------------
    haproxy的工作模型图

HAProxy的三种不同类型配置方案

    当用户并发请求达到一定的数量时,使用haproxy进行负载均衡有明显的优势;而且haproxy还可以根据用户的cookies,根据调度算法,将用户一直定向分配到以前访问过的后端服务器上;为了提高网站访问速度,一般在haproxy的后端都要配置缓存服务器,可以是静态页面内容的缓存,也可以是动态网页内容的缓存,生产环境中有必要添加mysql的缓存。
    用户访问网站域名时,DNS解析到外网接口haproxy服务器上,haproxy将请求直接转发(tcp)至后方服务器,或者先分析用户请求,然后以客户端身份向后端服务器发出同样的请求(http),获得后方服务器返回的内容后重新封装,响应给客户端,此时haproxy实现一手端两家,中间翻译官的角色。

Haproxy+Keepalived搭建Weblogic高可用负载均衡集群 http://www.linuxidc.com/Linux/2013-09/89732.htm

Keepalived+HAProxy配置高可用负载均衡 http://www.linuxidc.com/Linux/2012-03/56748.htm

CentOS 6.3下Haproxy+Keepalived+Apache配置笔记 http://www.linuxidc.com/Linux/2013-06/85598.htm

Haproxy + KeepAlived 实现WEB群集 on CentOS 6 http://www.linuxidc.com/Linux/2012-03/55672.htm

Haproxy+Keepalived构建高可用负载均衡 http://www.linuxidc.com/Linux/2012-03/55880.htm

使用 HAProxy 配置 HTTP 负载均衡器 http://www.linuxidc.com/Linux/2015-01/112487.htm

--------------------------------------------------------------------------------
    haproxy目前同时更新三个版本
    1.5系列
    1.4系列
    1.3系列
    官方站点:www.haproxy.com
    我们可以到官方下载源码包,编译安装;如果系统安装包内提供了rpm包,可以直接yum安装,这就要看你使用的操作系统版本了。

--------------------------------------------------------------------------------
    配置文件安装目录:/etc/haproxy/haproxy.conf
    haproxy的配置文件分为四个部分:
        全局配置:
        global:  全局配置段
        代理配置:
        default: 默认配置----->所有在backend、frontend、linsten中相同内容可以在此定义;
        frontend:前段配置----->定义前端套接字,接受客户端请求;
        backend: 后端配置----->定义后端分配规则,与后端服务器交互;
        listen:  绑定配置----->直接将指定的客户端与后端特定服务器绑定到一起;
    通常没有特别需求,不需要手动调试配置文件里面的选项,大部分默认值就可以满足我们的需求;而且官方文档介绍说很多选项都建议使用默认。但是有些选项我们经常要打交道的,必须对其有一定了解和调试的能力,下面介绍一些常用选项的配置。

--------------------------------------------------------------------------------
    
    giobal
--------------------------------------------------------------------------------
* 进程管理及安全相关的参数
  - chroot <jail dir>:修改haproxy的工作目录至指定的目录并在放弃权限之前执行chroot()操作,可以提升haproxy的安全级别,不过需要注意的是要确保指定的目录为空目录且任何用户均不能有写权限;
  - daemon:让haproxy以守护进程的方式工作于后台,其等同于“-D”选项的功能,当然,也可以在命令行中以“-db”选项将其禁用;
  - gid <number>:以指定的GID运行haproxy,建议使用专用于运行haproxy的GID,以免因权限问题带来风险;
  - group <group name>:同gid,不过指定的组名;
  - log  <address> <facility> [max level [min level]]:定义全局的syslog服务器,最多可以定义两个;
  - log-send-hostname [<string>]:在syslog信息的首部添加当前主机名,可以为“string”指定的名称,也可以缺省使用当前主机名;
  - nbproc <number>:指定启动的haproxy进程的个数,只能用于守护进程模式的haproxy;默认只启动一个进程,鉴于调试困难等多方面的原因,一般只在单进程仅能打开少数文件描述符的场景中才使用多进程模式;
  - pidfile:
  - uid:以指定的UID身份运行haproxy进程;
  - ulimit-n:设定每进程所能够打开的最大文件描述符数目,默认情况下其会自动进行计算,因此不推荐修改此选项;
  - user:同uid,但使用的是用户名;
  - stats:
  - node:定义当前节点的名称,用于HA场景中多haproxy进程共享同一个IP地址时;
  - description:当前实例的描述信息;


 * 性能调整相关的参数
  - maxconn <number>:设定每个haproxy进程所接受的最大并发连接数,其等同于命令行选项“-n”;“ulimit -n”自动计算的结果正是参照此参数设定的;
  - maxpipes <number>:haproxy使用pipe完成基于内核的tcp报文重组,此选项则用于设定每进程所允许使用的最大pipe个数;每个pipe会打开两个文件描述符,因此,“ulimit -n”自动计算时会根据需要调大此值;默认为maxconn/4,其通常会显得过大;
  - noepoll:在Linux系统上禁用epoll机制;
  - nokqueue:在BSD系统上禁用kqueue机制;
  - nopoll:禁用poll机制;
  - nosepoll:在Linux禁用启发式epoll机制;
  - nosplice:禁止在Linux套接字上使用内核tcp重组,这会导致更多的recv/send系统调用;不过,在Linux 2.6.25-28系列的内核上,tcp重组功能有bug存在;
  - spread-checks <0..50, in percent>:在haproxy后端有着众多服务器的场景中,在精确的时间间隔后统一对众服务器进行健康状况检查可能会带来意外问题;此选项用于将其检查的时间间隔长度上增加或减小一定的随机时长;
  - tune.bufsize <number>:设定buffer的大小,同样的内存条件下,较小的值可以让haproxy有能力接受更多的并发连接,较大的值可以让某些应用程序使用较大的cookie信息;默认为16384,其可以在编译时修改,不过强烈建议使用默认值;
  - tune.chksize <number>:设定检查缓冲区的大小,单位为字节;更大的值有助于在较大的页面中完成基于字符串或模式的文本查找,但也会占用更多的系统资源;不建议修改;
  - tune.maxaccept <number>:设定haproxy进程内核调度运行时一次性可以接受的连接的个数,较大的值可以带来较大的吞吐率,默认在单进程模式下为100,多进程模式下为8,设定为-1可以禁止此限制;一般不建议修改;
  - tune.maxpollevents  <number>:设定一次系统调用可以处理的事件最大数,默认值取决于OS;其值小于200时可节约带宽,但会略微增大网络延迟,而大于200时会降低延迟,但会稍稍增加网络带宽的占用量;
  - tune.maxrewrite <number>:设定为首部重写或追加而预留的缓冲空间,建议使用1024左右的大小;在需要使用更大的空间时,haproxy会自动增加其值;
  - tune.rcvbuf.client <number>:
  - tune.rcvbuf.server <number>:设定内核套接字中服务端或客户端接收缓冲的大小,单位为字节;强烈推荐使用默认值;
  - tune.sndbuf.client:
  - tune.sndbuf.server:
 * Debug相关的参数
  - debug
  - quiet
------------------------------------------------------------------------------------
 

--------------------------------------------------------------------------------
    balance  算法
balance <algorithm> [ <arguments> ]
balance url_param <param> [check_post [<max_wait>]]
定义负载均衡算法,可用于“defaults”、“listen”和“backend”。<algorithm>用于在负载均衡场景中挑选一个server,其仅应用于持久信息不可用的条件下或需要将一个连接重新派发至另一个服务器时。支持的算法有:
  roundrobin:基于权重进行轮叫,在服务器的处理时间保持均匀分布时,这是最平衡、最公平的算法。此算法是动态的,这表示其权重可以在运行时进行调整,不过,在设计上,每个后端服务器仅能最多接受4128个连接;
  static-rr:基于权重进行轮叫,与roundrobin类似,但是为静态方法,在运行时调整其服务器权重不会生效;不过,其在后端服务器连接数上没有限制;
  leastconn:新的连接请求被派发至具有最少连接数目的后端服务器;在有着较长时间会话的场景中推荐使用此算法,如LDAP、SQL等,其并不太适用于较短会话的应用层协议,如HTTP;此算法是动态的,可以在运行时调整其权重;
  source:将请求的源地址进行hash运算,并由后端服务器的权重总数相除后派发至某匹配的服务器;这可以使得同一个客户端IP的请求始终被派发至某特定的服务器;不过,当服务器权重总数发生变化时,如某服务器宕机或添加了新的服务器,许多客户端的请求可能会被派发至与此前请求不同的服务器;常用于负载均衡无cookie功能的基于TCP的协议;其默认为静态,不过也可以使用hash-type修改此特性;
        hash-type:
                map-based:静态;哈希算法
                consistent:动态;一致性哈希算法
  uri:对URI的左半部分(“问题”标记之前的部分)或整个URI进行hash运算,并由服务器的总权重相除后派发至某匹配的服务器;这可以使得对同一个URI的请求总是被派发至某特定的服务器,除非服务器的权重总数发生了变化;此算法常用于代理缓存或反病毒代理以提高缓存的命中率;需要注意的是,此算法仅应用于HTTP后端服务器场景;其默认为静态算法,不过也可以使用hash-type修改此特性;
  url_param:通过<argument>为URL指定的参数在每个HTTP GET请求中将会被检索;如果找到了指定的参数且其通过等于号“=”被赋予了一个值,那么此值将被执行hash运算并被服务器的总权重相除后派发至某匹配的服务器;此算法可以通过追踪请求中的用户标识进而确保同一个用户ID的请求将被送往同一个特定的服务器,除非服务器的总权重发生了变化;如果某请求中没有出现指定的参数或其没有有效值,则使用轮叫算法对相应请求进行调度;此算法默认为静态的,不过其也可以使用hash-type修改此特性;
  hdr(<name>):对于每个HTTP请求,通过<name>指定的HTTP首部将会被检索;如果相应的首部没有出现或其没有有效值,则使用轮叫算法对相应请求进行调度;其有一个可选选项“use_domain_only”,可在指定检索类似Host类的首部时仅计算域名部分(比如通过www.linuxidc.com来说,仅计算linuxidc字符串的hash值)以降低hash算法的运算量;此算法默认为静态的,不过其也可以使用hash-type修改此特性;

--------------------------------------------------------------------------------
    hash-type
hash-type <method>
定义用于将hash码映射至后端服务器的方法;其不能用于frontend区段;可用方法有map-based和consistent,在大多数场景下推荐使用默认的map-based方法。
map-based:hash表是一个包含了所有在线服务器的静态数组。其hash值将会非常平滑,会将权重考虑在列,但其为静态方法,对在线服务器的权重进行调整将不会生效,这意味着其不支持慢速启动。此外,挑选服务器是根据其在数组中的位置进行的,因此,当一台服务器宕机或添加了一台新的服务器时,大多数连接将会被重新派发至一个与此前不同的服务器上,对于缓存服务器的工作场景来说,此方法不甚适用。
consistent:hash表是一个由各服务器填充而成的树状结构;基于hash键在hash树中查找相应的服务器时,最近的服务器将被选中。此方法是动态的,支持在运行时修改服务器权重,因此兼容慢速启动的特性。添加一个新的服务器时,仅会对一小部分请求产生影响,因此,尤其适用于后端服务器为cache的场景。不过,此算法不甚平滑,派发至各服务器的请求未必能达到理想的均衡效果,因此,可能需要不时的调整服务器的权重以获得更好的均衡性。

--------------------------------------------------------------------------------
    bind
bind [<address>]:<port_range> [, ...]
bind [<address>]:<port_range> [, ...] interface <interface>
此指令仅能用于frontend和listen区段,用于定义一个或几个监听的套接字。
<address>:可选选项,其可以为主机名、IPv4地址、IPv6地址或*;省略此选项、将其指定为*或0.0.0.0时,将监听当前系统的所有IPv4地址;
<port_range>:可以是一个特定的TCP端口,也可是一个端口范围(如5005-5010),代理服务器将通过指定的端口来接收客户端请求;需要注意的是,每组监听的套接字<address:port>在同一个实例上只能使用一次,而且小于1024的端口需要有特定权限的用户才能使用,这可能需要通过uid参数来定义;
<interface>:指定物理接口的名称,仅能在Linux系统上使用;其不能使用接口别名,而仅能使用物理接口名称,而且只有管理有权限指定绑定的物理接口;
    例如:
 forntend  main 
        bind *:80 
        bind *:8080

--------------------------------------------------------------------------------
  
  mode
mode { tcp|http|health }
设定实例的运行模式或协议。当实现内容交换时,前端和后端必须工作于同一种模式(一般说来都是HTTP模式),否则将无法启动实例。
tcp:实例运行于纯TCP模式,在客户端和服务器端之间将建立一个全双工的连接,且不会对7层报文做任何类型的检查;此为默认模式,通常用于SSL、SSH、SMTP等应用;
http:实例运行于HTTP模式,客户端请求在转发至后端服务器之前将被深度分析,所有不与RFC格式兼容的请求都会被拒绝;
health:实例工作于health模式,其对入站请求仅响应“OK”信息并关闭连接,且不会记录任何日志信息;此模式将用于响应外部组件的健康状态检查请求;目前业讲,此模式已经废弃,因为tcp或http模式中的monitor关键字可完成类似功能;

--------------------------------------------------------------------------------
    log
log global
log <address> <facility> [<level> [<minlevel>]]
为每个实例启用事件和流量日志,因此可用于所有区段。每个实例最多可以指定两个log参数,不过,如果使用了“log global”且"global"段已经定了两个log参数时,多余了log参数将被忽略。
global:当前实例的日志系统参数同"global"段中的定义时,将使用此格式;每个实例仅能定义一次“log global”语句,且其没有任何额外参数;
<address>:定义日志发往的位置,其格式之一可以为<IPv4_address:PORT>,其中的port为UDP协议端口,默认为514;格式之二为Unix套接字文件路径,但需要留心chroot应用及用户的读写权限;
<facility>:可以为syslog系统的标准facility之一;
<level>:定义日志级别,即输出信息过滤器,默认为所有信息;指定级别时,所有等于或高于此级别的日志信息将会被发送;

--------------------------------------------------------------------------------
  maxconn
maxconn <conns>
设定一个前端的最大并发连接数,因此,其不能用于backend区段。对于大型站点来说,可以尽可能提高此值以便让haproxy管理连接队列,从而避免无法应答用户请求。当然,此最大值不能超出“global”段中的定义。此外,需要留心的是,haproxy会为每个连接维持两个缓冲,每个缓冲的大小为8KB,再加上其它的数据,每个连接将大约占用17KB的RAM空间。这意味着经过适当优化后,有着1GB的可用RAM空间时将能维护40000-50000并发连接。
如果为<conns>指定了一个过大值,极端场景下,其最终占据的空间可能会超出当前主机的可用内存,这可能会带来意想不到的结果;因此,将其设定了一个可接受值方为明智决定。其默认为2000。

--------------------------------------------------------------------------------
    
  default_backend
default_backend <backend>
在没有匹配的"use_backend"规则时为实例指定使用的默认后端,因此,其不可应用于backend区段。在"frontend"和"backend"之间进行内容交换时,通常使用"use-backend"定义其匹配规则;而没有被规则匹配到的请求将由此参数指定的后端接收。
<backend>:指定使用的后端的名称;
使用案例:
use_backend    dynamic  if  url_dyn 
use_backend    static  if  url_css url_img extension_img 
default_backend dynamic

 


--------------------------------------------------------------------------------
  
 server  定义后端服务器
------------------------------------------------------------------------------------
server <name> <address>[:port] [param*]
为后端声明一个server,因此,不能用于defaults和frontend区段。
    <name>:为此服务器指定的内部名称,其将出现在日志及警告信息中;如果设定了"http-send-server-name",它还将被添加至发往此服务器的请求首部中;
    <address>:此服务器的的IPv4地址,也支持使用可解析的主机名,只不过在启动时需要解析主机名至相应的IPv4地址;
    [:port]:指定将连接请求所发往的此服务器时的目标端口,其为可选项;未设定时,将使用客户端请求时的同一相端口;
    [param*]:为此服务器设定的一系参数;其可用的参数非常多,具体请参考官方文档中的说明,下面仅说明几个常用的参数;
---------------------------------------------------
    服务器或默认服务器参数:


disabled:这只此服务器禁用;
backup:设定为备用服务器,仅在负载均衡场景中的其它server均不可用于启用此server;
check:启动对此server执行健康状态检查,其可以借助于额外的其它参数完成更精细的设定,如:
          inter <delay>:设定健康状态检查的时间间隔,单位为毫秒,默认为2000;也可以使用fastinter和downinter来根据服务器端状态优化此时间延迟;
          rise <count>:设定健康状态检查中,某离线的server从离线状态转换至正常状态需要成功检查的次数;
          fall <count>:确认server从正常状态转换为不可用状态需要检查的次数;
cookie <value>:为指定server设定cookie值,此处指定的值将在请求入站时被检查,第一次为此值挑选的server将在后续的请求中被选中,其目的在于实现持久连接的功能;
maxconn <maxconn>:指定此服务器接受的最大并发连接数;如果发往此服务器的连接数目高于此处指定的值,其将被放置于请求队列,以等待其它连接被释放;
maxqueue <maxqueue>:设定请求队列的最大长度;0表示无上限;
observe <mode>:通过观察服务器的通信状况来判定其健康状态,默认为禁用,其支持的类型有 “layer4” 和 “layer7”, “layer7”仅能用于http代理场景;
redir <prefix>:启用重定向功能,将发往此服务器的GET和HEAD请求均以302状态码响应;需要注意的是,在prefix后面不能使用/,且不能使用相对地址,以免造成循环;例如:
  server srv1 172.16.100.6:80 redir http://imageserver.linuxidc.com check
weight <weight>:权重,默认为1,最大值为256,0表示不参与负载均衡;
检查方法:
    option httpchk
    option httpchk <uri>
    option httpchk <method> <uri>
    option httpchk <method> <uri> <version>:不能用于frontend段,例如:
    backend https_relay
    mode tcp
    option httpchk OPTIONS * HTTP/1.1\r\nHost:\ www.linuxidc.com
    server apache1 192.168.1.1:443 check port 80
使用案例:
 
    server first  172.16.13.13:1080 cookie first  check inter 1000 
    server second 172.16.13.14:1080 cookie second check inter 1000

-------------------------------------------------------------------------------------   

--------------------------------------------------------------------------------
    capture request header
capture request header <name> len <length>
捕获并记录指定的请求首部最近一次出现时的第一个值,仅能用于“frontend”和“listen”区段。捕获的首部值使用花括号{}括起来后添加进日志中。如果需要捕获多个首部值,它们将以指定的次序出现在日志文件中,并以竖线“|”作为分隔符。不存在的首部记录为空字符串,最常需要捕获的首部包括在虚拟主机环境中使用的“Host”、上传请求首部中的“Content-length”、快速区别真实用户和网络机器人的“User-agent”,以及代理环境中记录真实请求来源的“X-Forward-For”。
    <name>:要捕获的首部的名称,此名称不区分字符大小写,但建议与它们出现在首部中的格式相同,比如大写首字母。需要注意的是,记录在日志中的是首部对应的值,而非首部名称。
    <length>:指定记录首部值时所记录的精确长度,超出的部分将会被忽略。
可以捕获的请求首部的个数没有限制,但每个捕获最多只能记录64个字符。为了保证同一个frontend中日志格式的统一性,首部捕获仅能在frontend中定义。
  capture response header
capture response header <name> len <length>
捕获并记录响应首部,其格式和要点同请求首部。

--------------------------------------------------------------------------------
    
    stats enable
启用基于程序编译时默认设置的统计报告,不能用于“frontend”区段。只要没有另外的其它设定,它们就会使用如下的配置:
  - stats uri  : /haproxy?stats                                //url
  - stats realm : "HAProxy Statistics"                      //做认证是提供的信息 
  - stats auth  : no authentication 
  - stats scope : no restriction                              //无限制

尽管“stats enable”一条就能够启用统计报告,但还是建议设定其它所有的参数,以免其依赖于默认设定而带来非期后果。下面是一个配置案例。
 
123456789 backend public_www 
    server websrv1 172.16.100.11:80 
    stats enable
    stats hide-version 
    stats scope  . 
    stats uri    /haproxyadmin?stats 
    stats realm  Haproxy\ Statistics 
    stats auth    statsadmin:password 
    stats auth    statsmaster:password

-------------------------------------------------------------------------------------
    stats hide-version
启用统计报告并隐藏HAProxy版本报告,不能用于“frontend”区段。默认情况下,统计页面会显示一些有用信息,包括HAProxy的版本号,然而,向所有人公开HAProxy的精确版本号是非常有风险的,因为它能帮助恶意用户快速定位版本的缺陷和漏洞。尽管“stats hide-version”一条就能够启用统计报告,但还是建议设定其它所有的参数,以免其依赖于默认设定而带来非期后果。具体请参照“stats enable”一节的说明。
-------------------------------------------------------------------------------------
    stats realm
stats realm <realm>
启用统计报告并高精认证领域,不能用于“frontend”区段。haproxy在读取realm时会将其视作一个单词,因此,中间的任何空白字符都必须使用反斜线进行转义。此参数仅在与“stats auth”配置使用时有意义。
<realm>:实现HTTP基本认证时显示在浏览器中的领域名称,用于提示用户输入一个用户名和密码。
尽管“stats realm”一条就能够启用统计报告,但还是建议设定其它所有的参数,以免其依赖于默认设定而带来非期后果。具体请参照“stats enable”一节的说明。
-------------------------------------------------------------------------------------
  stats scope
stats scope { <name> | "." }
启用统计报告并限定报告的区段,不能用于“frontend”区段。当指定此语句时,统计报告将仅显示其列举出区段的报告信息,所有其它区段的信息将被隐藏。如果需要显示多个区段的统计报告,此语句可以定义多次。需要注意的是,区段名称检测仅仅是以字符串比较的方式进行,它不会真检测指定的区段是否真正存在。
<name>:可以是一个“listen”、“frontend”或“backend”区段的名称,而“.”则表示stats scope语句所定义的当前区段。
尽管“stats scope”一条就能够启用统计报告,但还是建议设定其它所有的参数,以免其依赖于默认设定而带来非期后果。下面是一个配置案例。
 backend private_monitoring 
    stats enable
    stats uri    /haproxyadmin?stats 
    stats refresh 10s

----------------------------------------------------------------------------------------
  stats auth
stats auth <user>:<passwd>
启用带认证的统计报告功能并授权一个用户帐号,其不能用于“frontend”区段。
<user>:授权进行访问的用户名;
<passwd>:此用户的访问密码,明文格式;
此语句将基于默认设定启用统计报告功能,并仅允许其定义的用户访问,其也可以定义多次以授权多个用户帐号。可以结合“stats realm”参数在提示用户认证时给出一个领域说明信息。在使用非法用户访问统计功能时,其将会响应一个“401 Forbidden”页面。其认证方式为HTTP Basic认证,密码传输会以明文方式进行,因此,配置文件中也使用明文方式存储以说明其非保密信息故此不能相同于其它关键性帐号的密码。
尽管“stats auth”一条就能够启用统计报告,但还是建议设定其它所有的参数,以免其依赖于默认设定而带来非期后果。
---------------------------------------------------------------------------------------
  stats admin
stats admin { if | unless } <cond>
在指定的条件满足时启用统计报告页面的管理级别功能,它允许通过web接口启用或禁用服务器,不过,基于安全的角度考虑,统计报告页面应该尽可能为只读的。此外,如果启用了HAProxy的多进程模式,启用此管理级别将有可能导致异常行为。
目前来说,POST请求方法被限制于仅能使用缓冲区减去保留部分之外的空间,因此,服务器列表不能过长,否则,此请求将无法正常工作。因此,建议一次仅调整少数几个服务器。下面是两个案例,第一个限制了仅能在本机打开报告页面时启用管理级别功能,第二个定义了仅允许通过认证的用户使用管理级别功能。
backend stats_localhost 
    stats enable
    stats admin if LOCALHOST 
backend stats_auth 
    stats enable
    stats auth  haproxyadmin:password 
    stats admin if TRUE

--------------------------------------------------------------------------------
option logasap
no option logasap
启用或禁用提前将HTTP请求记入日志,不能用于“backend”区段。
默认情况下,HTTP请求是在请求结束时进行记录以便能将其整体传输时长和字节数记入日志,由此,传较大的对象时,其记入日志的时长可能会略有延迟。“option logasap”参数能够在服务器发送complete首部时即时记录日志,只不过,此时将不记录整体传输时长和字节数。此情形下,捕获“Content-Length”响应首部来记录传输的字节数是一个较好选择。下面是一个例子。
 
listen http_proxy 0.0.0.0:80 
      mode http 
      option httplog 
      option logasap 
      log 172.16.13.9 local2

--------------------------------------------------------------------------------
    option forwardfor
option forwardfor [ except <network> ] [ header <name> ] [ if-none ]
允许在发往服务器的请求首部中插入“X-Forwarded-For”首部。
    <network>:可选参数,当指定时,源地址为匹配至此网络中的请求都禁用此功能。
    <name>:可选参数,可使用一个自定义的首部,如“X-Client”来替代“X-Forwarded-For”。有些独特的web服务器的确需要用于一个独特的首部。
    if-none:仅在此首部不存在时才将其添加至请求报文问道中。

转载于:https://www.cnblogs.com/linkenpark/p/7798766.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值