Thrift+Haproxy负载均衡

应用需求

项目时间使用中，后台存在4个使用thrift创建的A、B、C、D四个相同的Rpc服务，另外两个相同的服务E、F需要请求Rpc服务获取服务结果，在实际应用中E、F两个服务的请求需要随机的发送到四台Rpc服务，实现负载均衡。

由于thrift使用的是tcp传输协议，也就是说我们需要使用第四层负责均衡技术来实现thrift Rpc服务的负载均衡。

常用的负责均衡软件有Nginx、Haproxy等，但是目前为止免费版的Nginx只支持http请求的负载均衡，也就是第七层负载均衡，不过通过打补丁的方式能够让Nginx支持tcp请求的负载均衡，具体可参照https://github.com/yaoweibin/nginx_tcp_proxy_module。因此项目中选择haproxy作为负载均衡软件。

haproxy安装

yum install haproxy -y

haproxy配置

配置文件说明参考了http://blog.csdn.net/zhu_tianwei/article/details/41117323。

更官方的haproxy英文配置文档介绍地址：haproxy介绍

全局配置

global
        log 127.0.0.1 local3 #[error warringinfo debug]#定义haproxy 日志级别
        #log 127.0.0.1   local1 notice
        #log loghost    local0 info
        maxconn 20480  #默认最大连接数
        chroot /usr/local/haproxy #chroot运行路径
        uid 99                    #运行haproxy 用户 UID
        gid 99                    #运行haproxy 用户组gid
        daemon                    #以后台形式运行harpoxy
        nbproc 1                  #设置进程数量
        pidfile /usr/local/haproxy/run/haproxy.pid #haproxy 进程PID文件
        ulimit-n 819200   #ulimit 的数量限制
        #debug         #haproxy 调试级别，建议只在开启单进程的时候调试
        #quiet

默认配置选项

defaults
       log    global
       mode    http         #所处理的类别(7层代理http，4层代理tcp)
       maxconn 50000       #最大连接数
       option  httplog     #日志类别为http日志格式
       option  httpclose   #每次请求完毕后主动关闭http通道
       option  dontlognull  #不记录健康检查日志信息
       option  forwardfor  #如果后端服务器需要获得客户端的真实ip，需要配置的参数，可以从http header 中获取客户端的IP
       retries 3            #3次连接失败就认为服务器不可用，也可以通过后面设置
       option redispatch   #serverID 对应的服务器挂掉后，强制定向到其他健康的服务器
       stats refresh 30     # 设置统计页面刷新时间间隔
       option abortonclose  #当服务器负载很高的时候，自动结束掉当前队列处理比较久的连接
       balance roundrobin    #设置默认负载均衡方式，轮询方式
       #balance source        # 设置默认负载均衡方式，类似于nginx的ip_hash
       #balnace leastconn     #设置默认负载均衡方式，最小连接数
       contimeout 5000       #设置连接超时时间
       clitimeout 50000      #设置客户端超时时间
       srvtimeout 50000      #设置服务器超时时间
       timeout check   2000  #设置心跳检查超时时间
       #timeout http-request   10s   #默认http请求超时时间
       #timeoutqueue          1m     #默认队列超时时间
       #timeoutconnect         10s   #默认连接超时时间
       #timeoutclient         1m     #默认客户端超时时间
       #timeoutserver         1m     #默认服务器超时时间
       #timeout http-keep-alive10s   #默认持久连接超时时间

设置监控页面

listen  admin_status
        bind 0.0.0.0:81           #设置Frontend和Backend的组合体，监控组的名称，按需要自定义名称
        mode http                 #设置http的7 层模式层
        log 127.0.0.1 local3 err  #错误日志记录
        stats refresh 30s          #设置监控页面刷新时间：5s
        stats uri  /haproxy-stats   # 设置监控页面的url
        stats realm  Frank \Frank #设置页面提示信息
        stats auth admin:admin     #设置监控页面的用户和密码:admin,可以设置多个用户名
        stats auth  Frank:Frank   #设置监控页面的用户和密码：Frank
        stats hide-version         #隐藏统计页面的HAproxy版本信息
        stats  admin if TRUE       #设置手工启动/禁用，后端服务器(haproxy-1.4.9以后版本)

设置错误页面

errorfile 403 /usr/local/haproxy/errorfiles/403.http
errorfile 500 /usr/local/haproxy/errorfiles/500.http
errorfile 502 /usr/local/haproxy/errorfiles/502.http
errorfile 503 /usr/local/haproxy/errorfiles/503.http
errorfile 504 /usr/local/haproxy/errorfiles/504.http

设置frontend

frontend http_80_in
       bind 0.0.0.0:80           #设置监听端口，即haproxy提供的web服务端口，和lvs的vip 类似
       mode http                 # http 的7层模式
       log global                 #应用全局的日志设置
       option httplog             #启用http的log
       option httpclose           #每次请求完毕后主动关闭http通道，HA-proxy不支持keep-alive模式
       option forwardfor          #如果后端服务器需要获得客户端的真实IP需要配置此参数，将可以从HttpHeader中获得客户端IP

acl 策略配置

acl  frank_web hdr_reg(host)   -i ^(www.test.com.sh|news.test.com.sh)$
#如果请求的域名满足正则表达式中的2个域名返回true -i 是忽略大小写
# acl frank_fund  hdr_dom(host)  -i fund.test.com.sh
#如果请求的域名满足fund.test.com.sh返回true -i是忽略大小写
acl frank    hdr(host) -i test.com.sh
#如果请求的域名满足test.com.sh返回true -i是忽略大小写
#acl file_req url_sub -i  killall=
#在请求url中包含killall=，则此控制策略返回true,否则为false
# acl dir_req url_dir -i allow
#在请求url中存在allow作为部分地址路径，则此控制策略返回true,否则返回false
acl missing_cl hdr_cnt(Content-length)eq 0
#当请求的header中Content-length等于0时返回true
#### Manage interface ####
acl Frank_Manage path_dir /Frank/manage/
acl Frank_Network src  192.168.151.189 192.168.152.0/24
## deny lb.html###
acl Frank_lb  path /lb.html

acl策略匹配相应

block if Frank_lb
block if Frank_Manage ！Frank_Network
#block if missing_cl
#当请求中header中Content-length等于0阻止请求返回403
#block if !file_req || dir_req
#block表示阻止请求，返回403错误，当前表示如果不满足策略file_req，或者满足策略dir_req，则阻止请求
redirect prefix http://192.168.151.249code 301 if frank
#当访问test.com.sh的时候，用http的301挑转到http://192.168.151.249
use_backend  server_web if frank_web
#当满足frank_web的策略时使用server_web的backend
#use_backend  server_blog if frank_fund
#当满足frank_fund的策略时使用server_blog的backend
default_backend server_web
#以上都不满足的时候使用默认server_bbs的backend

backend的设置

backendserver_web
       mode http            #http的7层模式
       balance roundrobin   #负载均衡的方式，roundrobin平均方式
       cookie etnetchinaid insert indirectnocache domain .test.com.sh maxidle 20s maxlife 30s #允许插入serverid到cookie中，serverid后面可以定义
#       cookie SERVERID insert indirect nocache
#       appsession  JSESSIONID len 64 timeout 300s request-learn
       option httpchk GET /lb.html HTTP/1.0 #心跳检测的文件
       server 192.168.51.78 192.168.151.78:80cookie cookie78 check inter 1500 rise 3 fall 3 weight 1
       #服务器定义，cookie 1表示serverid为web1，check inter1500是检测心跳频率rise 3是3次正确认为服务器可用，
       #fall 3是3次失败认为服务器不可用，weight代表权重
       server 192.168.151.79 192.168.151.79:80cookie cookie79 check inter 1500 rise 3 fall 3 weight 1
       #服务器定义，cookie 1表示serverid为web2，check inter1500是检测心跳频率rise 3是3次正确认为服务器可用

设置监听

listen DataPsuhServer
    bind 0.0.0.0:8888
    balance roundrobin
    mode tcp 
    option tcplog
    option tcp-check
#maxconn 4086
    log 127.0.0.1 local2 debug
    server index.ds.off 10.10.171.224:9090   check
    server zldeng.ds 10.10.155.37:9090    check

配置haproxy日志

haproxy的日志通过系统的syslog服务进行输出，可在配置中对log进行配置。同时需要修改系统的syslog配置才能得到haproxy的日志信息。

编辑系统日志配置

默认系统syslog服务是不开启的，要想syslog将日志信息写入到文件，需要开启服务对514端口的udp服务的监听。同时配置日志的目标文件

• 修改syslog系统配置

# vim /etc/rsyslog.conf
 //默认有下面的设置，会读取 /etc/rsyslog.d/*.conf目录下的配置文件
 $IncludeConfig /etc/rsyslog.d/*.conf

• 为haproxy创建一个独立的配置文件

# vim  /etc/rsyslog.d/haproxy.conf
$ModLoad imudp
$UDPServerRun 514
local2.*     /var/log/haproxy.log
#如果不加下面的的配置则除了在/var/log/haproxy.log中写入日志外，也会写入message文件
&~

• 配置rsyslog的主配置文件，开启远程日志

# vim /etc/sysconfig/rsyslog
 SYSLOGD_OPTIONS=”-c 2 -r -m 0″
 #-c 2 使用兼容模式，默认是 -c 5
 #-r 开启远程日志
 #-m 0 标记时间戳。单位是分钟，为0时，表示禁用该功能

重启haproxy和rsyslog服务

#service rsyslog restart
#service haproxy restart

此时在/var/log/haproxy.log文件中即可看到haproxy的日志信息。但是对于tcp请求来说，日志中并不能打印和http请求一样较丰富的请求信息。