Haproxy

Haproxy

介绍

HAProxy是法国开发者威利塔罗(Willy Tarreau)在2000年使用C语言开发的一个开源软件，

是一款具备高并发(一万以上)、高性能的TCP和HTTP负载均衡器，

支持基于cookie的持久性，自动故障切换，

支持正则表达式及web状态统计，

目前最新TLS版本为2.2。

支持功能

• TCP 和 HTTP反向代理
• SSL/TSL服务器
• 可以针对HTTP请求添加cookie，进行路由后端服务器
• 可平衡负载至后端服务器，并支持持久连接
• 支持所有主服务器故障切换至备用服务器
• 支持专用端口实现监控服务
• 支持停止接受新连接请求，而不影响现有连接
• 可以在双向添加，修改或删除HTTP报文首部
• 响应报文压缩
• 支持基于pattern实现连接请求的访问控制
• 通过特定的URI为授权用户提供详细的状态信息

HAProxy的主要特性有

1. 可靠性和稳定性非常好，可以与硬件级的F5负载均衡设备相媲美;
2. 最高可以同时维护40000-50000个并发连接，单位时间内处理的最大请求数为20000个，最大处理能力可达10Git/s;
3. 支持多达8种负载均衡算法,同时也支持会话保持;
4. 支持虚拟机主机功能，从而实现web负载均衡更加灵活;
5. 支持连接拒绝、全透明代理等独特的功能;
6. 拥有强大的ACL支持,用于访问控制;
7. 其独特的弹性二义树数据结构，使数据结构的复杂性上升到了0(1)，即数据的查寻速度不会随着数据条日的增加而速度有所下降;·支持客户端的keepalive功能，减少客户端与haproxy的多次三次握手导致资源浪费，让多个请求在一个tcp连接中完成;
8. 支持TCP加速,零复制功能,类似于mmap机制;
9. 支持响应池(response buffering) ;
10. 支持RDP协议;
11. 基于源的粘性，类似nginx的ip hash功能，把来自同一客户端的请求在一定时间内始终调度到上游的同一服务器;·更好统计数据接口，其web接口显示后端集群中各个服务器的接收、发送、拒绝、错误等数据的统计信息;
12. 详细的健康状态检测，web接口中有关于对上游服务器的健康检测状态，并提供了一定的管理功能;
13. 基于流量的健康评估机制;
14. 基于http认证;
15. 基于命令行的管理接口;
16. 日志分析器,可对日志进行分析。

常见的Web群集调度器

• 目前常见的web集群调度器分为软件和硬件
  • 软件通常使用开源的LVS、Haproxy、Nginx
  • 硬件一般使用比较多的是F5，也有很多人使用国内的一些产品，如梭子鱼、绿盟等

LVS、Nginx、HAproxy的区别

1. IVS基于Linux操作系统实现软负载均衡，而HAProxy和Nginx是基于第三方应用实现的软负载均衡;
2. LVS是可实现4层的IP负载均衡技术，无法实现基于目录、URL的转发。而HAProxy和Nginx都可以实现4层和7层技术，HAProxy可提供TCP和HTTP应用的负载均衡综合解决方案;
3. LVs因为工作在TCP模型的第四层，其状态监测功能单一，而HAProxy在状态监测方面功能更丰富、强大，可支持端口、URI等多种状态检测方式;
4. HAProxy功能强大,但整体性能低于4层模式的IVS负载均衡。
5. Ngrinx主要用于web服务器或缓存服务器。Nginx的upstream模块虽然也支持群集功能，但是对群集节点健康检查功能不强，性能没有Haproxy好。

Haproxy应用分析

• LVS在企业应用中抗负载能力很强，但存在不足
• LVS不支持正则处理，不能实现动静分离
• 对于大型网站，LVS的实施配置复杂，维护成本相对较高
• Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件
• 适用于负载大的Web站点
• 运行在硬件上可支持数以万计的并发连接的连接请求

Haproxy调度算法

Haproxy调度算法原理

Haproxy支持多种调度算法，最常用的有三种

• RR（Round Robin）

  • RR算法是最简单最常用的一种算法，即轮询调度

• 举例

  • 有三个节点A、B、C
  • 有一个用户访问会被指派到节点A
  • 第二个用户访问会被指派到节点B
  • 第三个用户访问会被指派到节点C
  • 第四个用户访问继续指派到节点A，轮询分配访问请求实现负载均衡效果

• LC（Least Connections）

  • 最小连接数算法，根据后端的节点连接数大小动态分配前端请求

• 举例

  • 有三个节点A、B、C，各节点的连接数分别为A:4、B:5、C:6
  • 第一个用户连接请求，会被指派到A上，连接数变为A:5、B:5、C:6
  • 第二个用户请求会继续分配到A上 ，连接数变为A:6、B:5、C:6;再有新的请求会分配给B，每次将新的请求指派给连接数最少的客户端
  • 由于实际情况下A、B、C的连接数会动态释放，很难会出现一样连接数的情况
  • 此算法相比较rr算法有很大改进，是目前用到比较多的一种算法

• SH（Source Hashing）

  • 基于来源访问调度算法，用于一些有Session会话记录在服务器端的场景，可以基于来源的IP、Cookie等做集群调度

• 举例

  • 有三个节点A、B、C，第一个用户第一次访问会被指派到A，第二个用户第一次访问被指派到B
  • 当第一个用户第二次访问时会被继续指派到A，第二个用户第二次访问时会被指派到B，只要负载均衡调度器不重启，第一个用户访问都会被指派到A，第二个用户访问都会被指派到B，实现集群的调度
  • 此调度算法好处是实现会话保存，但某些IP访问量非常大时会引起负载不平衡，部分节点访问量超大，影响业务使用

Haproxy群集配置

Haproxy配置文件详解

• Haproxy配置文件通常分为三个部分

  • global：为全局配置
  • defaults：为默认配置
  • listen：为应用组件配置

• global配置参数

参数	说明
log 127.0.0.1 local0	配置日志记录，local0为日志设备，默认存放到系统日志
log 127.0.0.1 local1 notic	notice为日志级别，通常有24个级别
maxconn 4096	最大连接数
uid 99	用户uid
gid 99	用户gid

• defaults配置项配置默认参数，一般会被应用组件继承

• 如果应用组件中没有特别声明，将按默认配置参数设置

  • log global：定义日志为global配置中的日志定义
  • mode http：模式为http
  • option httplog：采用http日志格式记录日志
  • retries 3：检查节点服务器失败连续达到三次则认为节点不可用
  • maxconn 2000：最大连接数
  • contimeout 5000：连接超时时间
  • clitimeout 50000：客户端超时时间
  • srvtimeout 50000：服务器超时时间

• listen配置项目一般为配置应用模块参数

  • listen appli4-backup 0.0.0.0:10004:定义一个appli4-backup的应用
  • option httpchk/index.html：检查服务器的index.html文件
  • option persist:强制将请求发送到已经down掉的服务器
  • balance roundrobin：负载均衡调度算法使用轮询算法
  • server inst1 192.168.114.56:80 check inter 2000 fall 3：定义在线节点
  • server inst2 192.168.114.56:81 check inter 2000 fall 3
  • backup：定义备份节点

Haproxy日志管理

• 默认是输出到系统的syslog中，生产环境中一般单独定义
• 定义的方法步骤
  • 修改Haproxy配置文件中关于日志配额的选项，加入配置
    • log /dev/log local0 info
    • log /dev/log local0 notice
  • 修改rsyslog配置，将Haproxy相关的配置独立定义到haproxy.conf,并放到/etc/rsyslog.d下
  • 保存配置文件并重启rsyslog服务，完成rsyslog配置
• 访问Haproxy集群测试网页并查看日志信息

Haproxy参数优化

• 随着企业网站负载增加，haproxy参数优化相当重要
  • maxconn：最大连接数，根据应用实际情况进行调整，推荐使用10 240
  • daemon：守护进程模式，Haproxy可以使用非守护进程模式启动，建议使用守护进程模式启动
  • nbproc：负载均衡的并发进程数，建议与当前服务器CPU核数相等或为其2倍
    • retries：重试次数，主要用于对集群节点的检查，如果节点多，且并发量大，设置为2次或3次
  • option http-server-close：主动关闭http请求选项，建议在生产环境中使用此选项
  • timeout http-keep-alive：长连接超时时间，设置长连接超时时间，可以设置为10s
  • timeout http-request：http请求超时时间，建议将此时间设置为5~10s，增加http连接释放速度
  • timeout client：客户端超时时间，如果访问量过大，节点响应慢，可以将此时间设置短一些，建议设置为1min左右就可以了

配置操作

安装包

主机	操作系统	IP地址	所需软件/安装包/工具
Haproxy-Server	CentOS7	192.168.254.10	haproxy-1.4.24.tar
Nginx-Server1	CentOS7	192.168.254.20	nginx-1.12.0.tar
Nginx-Server2	CentOS7	192.168.254.30	nginx-1.12.0.tar
客户端	CentOS7	192.168.254.40	————————

1、部署haproxy服务器（192.168.254.10）

1.关闭防火墙，将安装Haproxy所需软件包传到/opt目录下

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0

[root@localhost ~]# cd /opt/
[root@localhost opt]# rz -E
rz waiting to receive.
[root@localhost opt]# ls
haproxy-1.4.24.tar.gz

2.编译安装Haproxy

[root@localhost opt]# yum -y install pcre-devel bzip2-devel gcc gcc-c++ make

[root@localhost opt]# tar zxvf haproxy-1.4.24.tar.gz
[root@localhost opt]# cd haproxy-1.4.24/

[root@localhost haproxy-1.4.24]# make TARGET=linux2628 ARCH=X86_64

[root@localhost haproxy-1.4.24]# make install

参数说明

TARGET=linux26	ARCH=x86_64
内核版本	系统位数，64位系统

使用uname -r查看内核，如：2.6.18-371.el5，此时该参数用TARGET=linux26；kernel大于2.6.28的用TARGET=linux2628

3.Haproxy服务器配置

[root@localhost haproxy-1.4.24]# mkdir /etc/haproxy
[root@localhost haproxy-1.4.24]# cp examples/haproxy.cfg /etc/haproxy/

[root@localhost haproxy-1.4.24]# cd /etc/haproxy/

[root@localhost haproxy]# vim haproxy.cfg 
#4~5行修改，配置日志记录，local0为日志设备，默认存放到系统日志
#8行注释，chroot运行路径，为该服务自设置的根目录，一般需将此行注释掉

1 # this config needs haproxy-1.1.28 or haproxy-1.2.1
  2 
  3 global
  4         log /dev/log    local0 info
  5         log /dev/log    local0 notice
  6         #log loghost    local0 info
  7         maxconn 4096
  8         #chroot /usr/share/haproxy
  9         uid 99
 10         gid 99
 11         daemon
 12         nbproc 1
 13         #debug
 14         #quiet
 15 
 16 defaults
 17         log     global
 18         mode    http
 19         option  httplog
 20         option  dontlognull
 21         retries 3
 22         redispatch
 23         maxconn 2000
 24         contimeout      5000
 25         clitimeout      50000
 26         srvtimeout      50000
 27 
 28 listen  webcluster 0.0.0.0:80
 29                 option httpchk GET /test.html
 30                 balance roundrobin
 31                 server  inst1 192.168.254.20:80 check inter 2000 fall 3
 32                 server  inst2 192.168.254.30:80 check inter 2000 fall 3

2、编译安装Nginx服务器（192.168.254.20、192.168.254.30）

192.168.254.20

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
[root@localhost ~]# yum install httpd -y
[root@localhost ~]# cd /var/www/html/
[root@localhost html]# vim test.html
afs asfdad gag asags sg

[root@localhost html]# systemctl start httpd
[root@localhost html]# ss -napt |grep 80

192.168.254.30

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
[root@localhost ~]# yum install httpd -y
[root@localhost ~]# cd /var/www/html/
[root@localhost html]# vim test.html
afafaf e fwaf a

[root@localhost html]# systemctl start httpd
[root@localhost html]# ss -napt |grep 80

3.启动Haproxy服务（192.168.254.10）

[root@localhost haproxy]# cd /opt/haproxy-1.4.24/examples
[root@localhost examples]# cp haproxy.init /etc/init.d/haproxy
[root@localhost examples]# cd /etc/init.d/
[root@localhost init.d]# chmod +x haproxy 
[root@localhost init.d]# chkconfig --add haproxy 
[root@localhost init.d]# ln -s /usr/local/sbin/haproxy  /usr/sbin/
[root@localhost init.d]# service haproxy start

4.测试Web集群

[root@localhost init.d]# curl 192.168.254.10/test.html
afs asfdad gag asags sg
[root@localhost init.d]# curl 192.168.254.10/test.html
afafaf e fwaf a