Haproxy介绍
HAProxy是一个特别适用于高可用性环境的TCP/HTTP开源的反向代理和负载均衡软件。实现了一种事件驱动,单一进程模型,支持非常大的并发连接,是因为事件驱动模型有更好的资源和时间管理的用户端(user-space)实现这些业务
- 在7层负载均衡方面的功能很强大(支持cookie track, header rewrite等等)
- 支持双机热备
- 支持虚拟主机
- 支持健康检查
- 同时还提供直观的监控页面,可以清晰实时的监控服务集群的运行状况。
- 同时支持Linux 2.6内核中System Epoll,通过简化系统调用,大幅的提高了网络I/O性能。
特征
- 根据静态分配的cookie 分配HTTP请求
- 分配负载到各个服务器,同时保证服务器通过使用HTTP Cookie实现连接保持;
- 当主服务器宕机时切换到备份服务器;允许特殊端口的服务监控;
- 做维护时通过热配置可以保证业务的连续性,更加人性化;
- 添加/修改/删除HTTP Request和Response 头;
- 通过特定表达式Block HTTP请求;
- 根据应用的cookie做连接保持;
-
带有用户验证的详细的HTML监控报告.
负载均衡算法
roundrobin
,表示简单的轮询,服务器根据权重轮流使用,这个是负载均衡基本都具备的;static-rr
,表示根据权重,根据权重轮流使用,对服务器的数量没有限制;leastconn
,表示最少连接者先处理,建议用于长回话服务;source
, 表示根据请求源IP,这个跟Nginx
的IP_hash
机制类似,我们用其作为解决session
问题的一种方法,建议关注;uri
, 表示根据请求的URI;uri hash算法url_param
,表示根据请求的URl参数’balance url_param’ requires an URL parameter name;hdr(name)
, 表示根据HTTP请求头来锁定每一次HTTP请求;rdp-cookie(name)
, 表示根据据cookie(name)来锁定并哈希每一次TCP请求。
Haproxy部署
-
yum安装
yum install haproxy keepalived -y
#配置文件:
/etc/haproxy/haproxy.cfg
/etc/keepalived/keepalived.conf
-
源码安装
#安装依赖包
yum install -y net-tools vim lrzsz tree screen lsof tcpdump nc mtr nmap gcc glib gcc-c++ make
#下载并安装 wget http://www.haproxy.org/download/1.6/src/haproxy-1.6.3.tar.gz tar zxf haproxy-1.6.3.tar.gz cd haproxy-1.6.3 make TARGET=linux2628 ARCH=x86_64 PREFIX=/usr/local/haproxy make install PREFIX=/usr/local/haproxy cp /usr/local/sbin/haproxy /usr/sbin/ haproxy -v
Haproxy启动脚本
cd /usr/local/src/haproxy-1.6.3 cp examples/haproxy.init /etc/init.d/haproxy chmod 755 /etc/init.d/haproxy
配置文件
useradd -r haproxy mkdir /etc/haproxy /var/lib/haproxy /var/run/haproxy
#配置文件
cat /etc/haproxy/haproxy.cfg global log 127.0.0.1 local2 chroot /var/lib/haproxy pidfile /var/run/haproxy.pid maxconn 4000 user haproxy group haproxy daemon stats socket /var/lib/haproxy/stats
defaults mode http log global option httplog option dontlognull option http-server-close option forwardfor except 127.0.0.0/8 option redispatch retries 3 timeout http-request 10s timeout queue 1m timeout connect 10s timeout client 1m timeout server 1m timeout http-keep-alive 10s timeout check 10s maxconn 3000
frontend main *:5000 acl url_static path_beg -i /static /images /javascript /stylesheets acl url_static path_end -i .jpg .gif .png .css .js use_backend static if url_static default_backend app
backend static balance roundrobin server static 127.0.0.1:4331 check
backend app balance roundrobin server app1 127.0.0.1:5001 check server app2 127.0.0.1:5002 check server app3 127.0.0.1:5003 check server app4 127.0.0.1:5004 check
Haproxy日志设置
vim /etc/rsyslog.conf #rsyslog 默认情况下,需要在514端口监听UDP,所以可以把/etc/rsyslog.conf如下的注释去掉 # Provides UDP syslog reception $ModLoad imudp $UDPServerRun 514 local3.* /var/log/haproxy.log
#重启rsyslog
systemctl restart rsyslog
配置案例
###########全局配置######### global log 127.0.0.1 local0 #[日志输出配置,所有日志都记录在本机,通过local0输出] log 127.0.0.1 local3 notice #定义haproxy 日志级别[error warringinfo debug] daemon c#以后台形式运行harpoxy nbproc 1 #设置进程数量,应该与服务器的cpu核心数一致 maxconn 4096 #默认最大连接数,需考虑ulimit-n限制 #user haproxy #运行haproxy的用户 #group haproxy #运行haproxy的用户所在的组 #pidfile /var/run/haproxy.pid #haproxy 进程PID文件 #ulimit-n 819200 #ulimit 的数量限制 #chroot /usr/share/haproxy #chroot运行路径 #debug #haproxy 调试级别,建议只在开启单进程的时候调试 #quiet ########默认配置############ defaults log global mode http #默认的模式mode { tcp|http|health },tcp是4层,http是7层,health只会返回OK option httplog #日志类别,采用httplog option dontlognull #不记录健康检查日志信息 retries 2 #两次连接失败就认为是服务器不可用,也可以通过后面设置 #option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数,可以从Http Header中获得客户端ip option httpclose #每次请求完毕后主动关闭http通道,chaproxy不支持keep-alive,只能模拟这种模式的实现 #option redispatch #当serverId对应的服务器挂掉后,强制定向到其他健康的服务器,以后将不支持 option abortonclose #当服务器负载很高的时候,自动结束掉当前队列处理比较久的链接 maxconn 4096 #默认的最大连接数 timeout connect 5000ms #连接超时 timeout client 30000ms #客户端超时 timeout server 30000ms #服务器超时 #timeout check 2000 #心跳检测超时 #timeout http-keep-alive10s #默认持久连接超时时间 #timeout http-request 10s #默认http请求超时时间 #timeout queue 1m #默认队列超时时间 balance roundrobin #设置默认负载均衡方式,轮询方式 #balance source #设置默认负载均衡方式,类似于nginx的ip_hash #balnace leastconn #设置默认负载均衡方式,最小连接数 ########统计页面配置######## listen stats bind 0.0.0.0:1080 #设置Frontend和Backend的组合体,监控组的名称,按需要自定义名称 mode http #http的7层模式 option httplog #采用http日志格式 #log 127.0.0.1 local0 err #错误日志记录 maxconn 10 #默认的最大连接数 stats refresh 30s #统计页面自动刷新时间 stats uri /stats #统计页面url stats realm XingCloud\ Haproxy #统计页面密码框上提示文本 stats auth admin:admin #设置监控页面的用户和密码:admin,可以设置多个用户名 stats auth Frank:Frank #设置监控页面的用户和密码:Frank stats hide-version #隐藏统计页面上HAProxy的版本信息 stats admin if TRUE #设置手工启动/禁用,后端服务器(haproxy-1.4.9以后版本) ########设置haproxy 错误页面##### #errorfile 403 /home/haproxy/haproxy/errorfiles/403.http #errorfile 500 /home/haproxy/haproxy/errorfiles/500.http #errorfile 502 /home/haproxy/haproxy/errorfiles/502.http #errorfile 503 /home/haproxy/haproxy/errorfiles/503.http #errorfile 504 /home/haproxy/haproxy/errorfiles/504.http ########frontend前端配置##用来匹配接收客户端所请求的域名############ frontend main bind *:80 #这里建议使用bind *:80的方式,要不然做集群高可用的时候有问题,vip切换到其他机器就不能访问了。 acl web hdr(host) -i www.abc.com #acl后面是规则名称,-i为忽略大小写,后面跟的是要访问的域名,如果访问www.abc.com这个域名,就触发web规则,。 acl img hdr(host) -i img.abc.com #如果访问img.abc.com这个域名,就触发img规则。 use_backend webserver if web #如果上面定义的web规则被触发,即访问www.abc.com,就将请求分发到webserver这个作用域。 use_backend imgserver if img #如果上面定义的img规则被触发,即访问img.abc.com,就将请求分发到imgserver这个作用域。 default_backend dynamic #不满足则响应backend的默认页面 ########backend后端配置######定义后端服务器集群,以及后端服务器的一些权重队列连接数等选项的设置######## backend webserver #webserver作用域,在frontend下指定设置,为自定义的名称,frontend会引用 mode http balance roundrobin #balance roundrobin 负载轮询,balance source 保存session值,支持static-rr,leastconn,first,uri等参数 option httpchk /index.html HTTP/1.0 #健康检查, 检测文件,如果分发到后台index.html访问不到就不再分发给它 server web1 10.16.0.9:8085 cookie 1 weight 5 check inter 2000 rise 2 fall 3 server web2 10.16.0.10:8085 cookie 2 weight 3 check inter 2000 rise 2 fall 3 #cookie 1表示serverid为1,check inter 1500 是检测心跳频率 #rise 2是2次正确认为服务器可用,fall 3是3次失败认为服务器不可用,weight代表权重 backend imgserver mode http option httpchk /index.php balance roundrobin server img01 192.168.137.101:80 check inter 2000 fall 3 server img02 192.168.137.102:80 check inter 2000 fall 3 backend dynamic balance roundrobin server test1 192.168.1.23:80 check maxconn 2000 server test2 192.168.1.24:80 check maxconn 2000 listen tcptest bind 0.0.0.0:5222 mode tcp option tcplog #采用tcp日志格式 balance source #log 127.0.0.1 local0 debug server s1 192.168.100.204:7222 weight 1 server s2 192.168.100.208:7222 weight 1
Haproxy健康检查
#通过监听端口进行健康检查 listen http_proxy 0.0.0.0:80 mode http cookie SERVERID balance roundrobin option httpchk server web1 192.168.1.1:80 cookie server01 check server web2 192.168.1.2:80 cookie server02 check inter 500 rise 1 fall 2 #通过URI获取进行健康检测 这种检测方式,是用过去GET后端server的的web页面,基本上可以代表后端服务的可用性。 listen http_proxy 0.0.0.0:80 mode http cookie SERVERID balance roundrobin option httpchk GET /index.html server web1 192.168.1.1:80 cookie server01 check server web2 192.168.1.2:80 cookie server02 check inter 500 rise 1 fall 2 相关配置 option httpchk <method><uri><version>
#通过request获取的头部信息进行匹配进行健康检测,通过对后端服务访问的头部信息进行匹配检测。
listen http_proxy 0.0.0.0:80
mode http
cookie SERVERID
balance roundrobin
option httpchk HEAD /index.jsp HTTP/1.1\r\nHost:\ www.xxx.com
server web1 192.168.1.1:80 cookie server01 check
server web2 192.168.1.2:80 cookie server02 check inter 500 rise 1 fall 2
根据URL后缀进行负载均衡
# 定义一个名叫php_web的acl,当请求的url末尾是以.php结尾的,将会被匹配到,下面两种写法任选其一 acl php_web url_reg /*.php$ #acl php_web path_end .php # 定义一个名叫static_web的acl,当请求的url末尾是以.css、.jpg、.png、.jpeg、.js、.gif结尾的,将会被匹配到,下面两种写法任选其一 acl static_web url_reg /*.(css|jpg|png|jpeg|js|gif)$ #acl static_web path_end .gif .png .jpg .css .js .jpeg # 如果满足策略php_web时,就将请求交予backend php_server use_backend php_server if php_web # 如果满足策略static_web时,就将请求交予backend static_server use_backend static_server if static_web
根据url进行负载均衡
acl invitec url_reg /invitec_pk.do use_backend b_yxpopo_com_pk if invitec
根据User-Agent实现域名跳转
需求如下: 1:域名www.example.com PC端访问正常显示 2:手机端:Android iPhone 访问首页跳转到wap.example.com, 3:static big_* small_* 这几类文件开头的进行跳转进行跳转效果如下所示: 访问:http://club.jesse.com/static/20130916/27635260.htm 跳转到:http://3g.club.jesse.com/static/20130916/27635260.htm 4:手机端访问:除规则3以外的不跳转:如http://club.xywy.com/top.htm访问URL 不变。 acl static_d path_beg /static /small /big #匹配XX开始的 acl index_page path_reg ^/$ #匹配首页 acl ua hdr_reg(User-Agent) -i iphone android #匹配User-Agent类型 acl club hdr_reg(host) -i club.jesse.com #匹配访问的域名 redirect prefix http://3g.club.jesse.com if ua static_d club #匹配相关的ACL策略就进行跳转 redirect prefix http://3g.club.jesse.com if index_page ua club use_backend club_pool if club
1.6以后版本加入了 resolvers
ACL
########ACL策略定义######################### 1、#如果请求的域名满足正则表达式返回true -i是忽略大小写 acl denali_policy hdr_reg(host) -i ^(www.inbank.com|image.inbank.com)$ 2、#如果请求域名满足www.inbank.com 返回 true -i是忽略大小写 acl tm_policy hdr_dom(host) -i www.inbank.com 3、#在请求url中包含sip_apiname=,则此控制策略返回true,否则为false acl invalid_req url_sub -i sip_apiname=#定义一个名为invalid_req的策略 4、#在请求url中存在timetask作为部分地址路径,则此控制策略返回true,否则返回false acl timetask_req url_dir -i timetask 5、#当请求的header中Content-length等于0时返回 true acl missing_cl hdr_cnt(Content-length) eq 0 #########acl策略匹配相应################### 1、#当请求中header中Content-length等于0 阻止请求返回403 block if missing_cl 2、#block表示阻止请求,返回403错误,当前表示如果不满足策略invalid_req,或者满足策略timetask_req,则阻止请求。 block if !invalid_req || timetask_req 3、#当满足denali_policy的策略时使用denali_server的backend use_backend denali_server if denali_policy 4、#当满足tm_policy的策略时使用tm_server的backend use_backend tm_server if tm_policy 5、#reqisetbe关键字定义,根据定义的关键字选择backend reqisetbe ^Host:\ img dynamic reqisetbe ^[^\ ]*\ /(img|css)/ dynamic reqisetbe ^[^\ ]*\ /admin/stats stats 6、#以上都不满足的时候使用默认mms_server的backend default_backend mms
启动Haproxy并验证
/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg #启动
#查看状态
http://ip:1080/stats #配置文件listen已定义
优化
查看Tcp连接数和占用内存
[root@bogon ~]# ss -s && free -g Total: 337 (kernel 359) TCP: 294 (estab 9, closed 258, orphaned 0, synrecv 0, timewait 257/0), ports 0 Transport Total IP IPv6 * 359 - - RAW 0 0 0 UDP 12 6 6 TCP 36 18 18 INET 48 24 24 FRAG 0 0 0 total used free shared buff/cache available Mem: 15 4 0 0 10 10 Swap: 0 0 0
由上图可知tcp连接数为36 内存使用4G
Haproxy TCP端口耗尽解决方案
实际使用过程中的问题:
- TCP端口耗尽
- 网卡带宽跑满
优化一:使用尽可能多的端口
Linux系统默认提供了65K个端口,每当Haproxy建立了一个到MySQL的连接,就会消耗一个端口;当Haproxy断开和MySQL的连接时,该端口并不会立即释放,而是会处于TIME_WAIT状态(2*MSL),超时后才会释放此端口供新的连接使用。tcp_fin_timeout
为15秒,也就是说如果环境中的haproxy可以承载的最大并发连接数为64K/(15*2)=2.1K
,可实际上达不到这个上限,原因如下:
net.ipv4.ip_local_port_range = 15000 65000
linux会保留一段端口,实际能参与分配的端口数只有50K,为了获得尽可能多的可分配端口,做如下调整:
# sysctl net.ipv4.ip_local_port_range="1025 65000" # sysctl net.ipv4.ip_local_port_range="1025 65000"
#记得修改/etc/sysctl.conf中对应的内容
优化二:复用处于TIME_WAIT的端口
调整两个参数:
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
第一个参数很安全,可以不用过多关注。需要注意的是第二个参数,某些情况下会导致数据包被丢弃。
例如:client通过NAT连接haproxy,并且haproxy端打开了tcp_tw_recycle,同时saw_tstamp也没有关闭,当第一个连接建立并关闭后,此端口(句柄)处于TIME_WAIT状态,在2*MSL时间内又一个client(相同IP,如果打开了xfrm还要相同PORT)发一个syn包,此时linux内核就会认为这个数据包异常,从而丢掉这个包,并发送rst包.
不过通常情况下,client都是通过内网直接连接haproxy,所以可以认为tcp_tw_recycle是安全的,只是需要记住此坑。
优化三:缩短TIME_WAIT时间
Linux系统默认MSL为60秒,也就是正常情况下,120秒后处于TIME_WAIT的端口(句柄)才会释放,可以将MSL的时间缩小,缩短端口的释放周期。
# cat /proc/sys/net/ipv4/tcp_fin_timeout 60 # echo 15 > /proc/sys/net/ipv4/tcp_fin_timeout #这是一个折中的数值,太小也会导致其它问题
优化四:使用多IP
如优化一中所说,我们已经尽可能多的使用了系统提供的端口范围。但最多依然不超过65K。
Haproxy提供了内建的端口管理方法,可以充分利用以扩大我们的端口范围。
server mysql0 10.0.3.1:3306 check source 10.0.3.100:1025-65000
server mysql1 10.0.3.1:3306 check source 10.0.3.101:1025-65000
如果使用两个ip,我们可用的端口数就接近130K。扩展多个IP,就可以不断增加端口数。