Haproxy负载均衡集群

一、Haproxy ：

1.1 Haproxy 介绍：

HAProxy 是法国开发者威利塔罗 (Willy Tarreau) 在2000年使用C语言开发的一个开源软件，是一款具备高并发(一万以上)、高性能的TCP和HTTP负载均衡器，支持基于cookie的持久性，自动故障切换，支持正则表达式及web状态统计，目前最新TLS版本为2.2。

HAProxy 是可提供高可用性、负载均衡以及基于 TCP 和 HTTP 应用的代理，是免费、快速并且可靠的一种解决方案。HAProxy 非常适用于并发大(并发达1w以上) web站点，这些站点通常又需要会话保持或七层处理。HAProxy 的运行模式使得它可以很简单安全的整合至当前的架构中，同时可以保护web服务器不被暴露到网络上。

支持功能：

• TCP 和 HTTP 反向代理
• SSL/TSL服务器
• 可以针对HTTP请求添加 cookie，进行路由后端服务器
• 可平衡负载至后端服务器，并支持持久连接
• 支持所有主服务器故障切换至备用服务器 keepalive
• 支持专用端口实现监控服务
• 支持停止接受新连接请求，而不影响现有连接
• 可以在双向添加，修改或删除HTTP报文首部字段
• 响应报文压缩
• 支持基于 pattern 实现连接请求的访问控制
• 通过特定的 URI（url）为授权用户提供详细的状态信息

1.2Haproxy 应用相比较其它的优缺点：

Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件 

 Haproxy的缺点：

• LVS不支持正则处理，不能实现动静分离
• 对于大型网站，LVS的实施配置复杂，维护成本相对较高

Haproxy的优点：

• LVS在企业应用中抗负载能力很强 
• 适用于负载大的Web站点
• 运行在硬件上可支持数以万计的并发连接的连接请求

1.3Haproxy 的主要特性：

HAProxy是可提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，是免费、快速并且可靠的一种解决方案。HAProxy非常适用于并发天（并发达1w以上）web站点，这些站点通常又需要会话保持或七层处理。HAProxy的运行模式使得它可以很简单安全的整合至当前的架构中，同时可以保护web服务器不被暴露到网络上。

1. 可靠性和稳定性非常好，可以与硬件级的F5负载均衡设备相媲美;
2. 最高可以同时维护40000-50000个并发连接，单位时间内处理的最大请求数为20000个，最大处理能力可达10Git/s;
3. 支持多达8种负载均衡算法,同时也支持会话保持;
4. 支持虚拟机主机功能，从而实现web负载均衡更加灵活;
5. 支持连接拒绝、全透明代理等独特的功能;
6. 拥有强大的ACL支持,用于访问控制; sendfile
7. 其独特的弹性二x树数据结构，使数据结构的复杂性上升到了0(1)，即数据的查寻速度不会随着数据条日的增加而速度有所下降;·支持客户端的keepalive功能，减少客户端与haproxy的多次三次握手导致资源浪费，让多个请求在一个tcp连接中完成;
8. 支持TCP加速,零复制功能,类似于mmap机制;
9. 支持响应池(response buffering) ;
10. 支持RDP协议;
11. 基于源的粘性，类似nginx的ip hash功能，把来自同一客户端的请求在一定时间内始终调度到上游的同一服务器;·更好统计数据接口，其web接口显示后端集群中各个服务器的接收、发送、拒绝、错误等数据的统计信息;
12. 详细的健康状态检测，web接口中有关于对上游服务器的健康检测状态，并提供了一定的管理功能;
13. 基于流量的健康评估机制;
14. 基于http认证;
15. 基于命令行的管理接口;
16. 日志分析器,可对日志进行分析

1.4Haproxy 负载均衡策略：

静态调度算法：不管后端，按照调度器的算法进行 分配

动态调度算法：会考虑后端服务器的负载情况

(1)roundrobin，表示简单的轮询 rr

(2) static-rr，表示根据权重

(3）leastconn，表示最少连接者先处理

(4) source，表示根据请求源IP

(5) uri，表示根据请求的URI,做cdn需使用;

(6) url_param，表示根据请求的URl参数' balance url param’requires an URL parameter name

(7) hdr(name)，表示根据HTTP请求头来锁定每一次HTTP请求;

(8）rdp-cookie (name)，表示根据据cookie(name)来锁定并哈希每一次TCP请求。

1.5LVS Nginx Haproxy 的区别：

1. IVS基于Linux操作系统实现软负载均衡，而HAProxy和Nginx是基于第三方应用实现的软负载均衡;
2. LVS是可实现4层的IP负载均衡技术，无法实现基于目录、URL的转发。而HAProxy和Nginx都可以实现4层和7层技术，HAProxy可提供TCP和HTTP应用的负载均衡综合解决方案;
3. LVs因为工作在TCP模型的第四层，其状态监测功能单一，而HAProxy在状态监测方面功能更丰富、强大，可支持端口、URI等多种状态检测方式;
4. HAProxy功能强大,但整体性能低于4层模式的IVS负载均衡。
5. Nginx主要用于web服务器或缓存服务器。Nginx的upstream模块虽然也支持群集功能，但是对群集节点健康检查功能不强，性能没有Haproxy好。

二、安装haproxy：

2.1解决lua环境：

HAProxy 支持基于lua实现功能扩展，lua是一种小巧的脚本语言，于1993年由巴西里约热内卢天主教大学里的一个研究小组开发，其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。

Lua 应用场景

• - 游戏开发
• - 独立应用脚本
• - Web 应用脚本
• - 扩展和数据库插件，如MySQL Proxy
• - 安全系统，如入侵检测系统

由于CentOS7 之前版本自带的lua版本比较低并不符合HAProxy要求的lua最低版本(5.3)的要求，因此需要编译安装较新版本的lua环境，然后才能编译安装HAProxy，过程如下：  

2.2yum本地源安装Haproxy：

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
[root@localhost ~]# yum install haproxy -y

2.3写主配置文件：

vim /etc/haproxy/haproxy.cfg

global
maxconn 100000
chroot /apps/haproxy
stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin
uid 99
gid 99
daemon
#nbproc 4
#cpu-map 1 0
#cpu-map 2 1
#cpu-map 3 2
#cpu-map 4 3
pidfile /var/lib/haproxy/haproxy.pid
log 127.0.0.1 local3 info
 
defaults
option http-keep-alive
option  forwardfor
maxconn 100000
mode http
timeout connect 300000ms
timeout client  300000ms
timeout server  300000ms
 
listen stats
 mode http
 bind 0.0.0.0:9999
 stats enable
 log global
 stats uri     /haproxy-status
 stats auth    haadmin:123456
 
listen  web_port
 bind 0.0.0.0:8899
 mode http
 log global
 server web1  127.0.0.1:8080  check inter 3000 fall 2 rise 5

三、配置文件详解

3.1配置文件

chroot    #锁定运行目录
deamon    #以守护进程运行，后台运行
stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin process 1   #socket文件
user, group, uid, gid  #运行haproxy的用户身份
nbproc    n     #开启的haproxy work 进程数，默认进程数是一个
#nbthread  1    #和多进程 nbproc配置互斥（版本有关,CentOS8的haproxy1.8无此问题）,指定每个haproxy进程开启的线程数，默认为每个进程一个线程
#如果同时启用nbproc和nbthread 会出现以下日志的错误，无法启动服务Apr  714:46:23 haproxy haproxy: [ALERT] 097/144623 (1454) : config : cannot enable multiple processes if multiple threads are configured. Please use either nbproc or nbthread but not both.
 
cpu-map 1  0     #绑定haproxy worker 进程至指定CPU，将第1个work进程绑定至0号CPU
cpu-map 2  1     #绑定haproxy worker 进程至指定CPU，将第2个work进程绑定至1号CPU
                 #ps axo  pid,cmd,psr  |grep haproxy
maxconn  n      #每个haproxy进程的最大并发连接数
maxsslconn  n   #每个haproxy进程ssl最大连接数,用于haproxy配置了证书的场景下
maxconnrate n   #每个进程每秒创建的最大连接数量
spread-checks n #后端server状态check随机提前或延迟百分比时间，建议2-5(20%-50%)之间，默认值0
pidfile         #指定pid文件路径
log 127.0.0.1  local2 info #定义全局的syslog服务器；日志服务器需要开启UDP协议，最多可以定义两个
 
defaults
        log     global        #引入global定义的日志格式
        mode    http          #模式为http（7层代理http，4层代理tcp）
        option  httplog           #日志类别为http日志格式             
        option  dontlognull    #不记录健康检查日志信息
        retries 3           #检查节点服务器失败次数，连续达到3次，则反馈不可用 
        redispatch            #当服务器负载很高时，自动结束当前队列处理比较久的连接
        maxconn 2000        #最大连接数，此处的数值不能大于全局里的数值
        contimeout      5000  #设置连接超时时间，默认单位是毫秒
        clitimeout      50000 #设置客户端超时时间，默认单位是毫秒
        srvtimeout      50000 #设置服务器超时时间，默认单位是毫秒
 
#以下是新版本中的
timeout http-request 10s      #默认http请求超时时间
timeout queue 1m             #默认队列超时时间    
timeout connect 10s         #默认连接超时时间，新版本中替代
timeout client 1m
timeout server 1m
timeout http-keep-alive
timeout check 10s
 
 
defaults [<name>] #默认配置项，针对以下的frontend、backend和listen生效，可以多个name也可以没有name
frontend <name>   #前端servername，类似于Nginx的一个虚拟主机 server和LVS服务集群。
backend <name>   #后端服务器组，等于nginx的upstream和LVS中的RS服务器
listen   <name>   #将frontend和backend合并在一起配置，相对于frontend和backend配置更简
洁，生产常用
 
 
使用listen替换 frontend和backend的配置方式，可以简化设置，通常只用于TCP协议的应用
#官网业务访问入口
listen  webcluster 0.0.0.0:80
        option httpchk GET /test.html
        balance roundrobin
        server  inst1 192.168.91.4:80 check inter 2000 fall 3
        server  inst2 192.168.91.5:80 check inter 2000 fall 3

HAProxy 的配置文件 haproxy.cfg 由两大部分组成，分别是 global 和 proxies 部分

global：全局配置段：

进程及安全配置相关的参数
性能调整相关参数
Debug参数

proxies：代理配置段：

defaults：为frontend, backend, listen提供默认配置
frontend：前端，相当于nginx中的server {}
backend：后端，相当于nginx中的upstream {}
listen：同时拥有前端和后端配置,配置简单,生产推荐使用

3.2global 配置：

chroot #锁定运行目录，类似于  ftp中的禁锢
deamon #以守护进程运行
stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin process 1   #socket文件 进程件通信
user, group, uid, gid  #运行haproxy的用户身份
 
 
nbproc   n #开启的haproxy worker 进程数，默认进程数是一个，保持与 淳朴个数相同
#nbthread 1 #和多进程 nbproc配置互斥（版本有关,CentOS8的haproxy1.8无此问题）,指定每个haproxy进程开启的线程数，默认为每个进程一个线程
#如果同时启用nbproc和nbthread 会出现以下日志的错误，无法启动服务
 
Apr  7 14:46:23 haproxy haproxy: [ALERT] 097/144623 (1454) : config : cannot 
enable multiple processes if multiple threads are configured. Please use either 
nbproc or nbthread but not both.
cpu-map 1 0           #绑定haproxy worker 进程至指定CPU，将第1个work进程绑定至0号CPU
cpu-map 2 1         #绑定haproxy worker 进程至指定CPU，将第2个work进程绑定至1号CPU
maxconn n           #每个haproxy进程的最大并发连接数
maxsslconn n           #每个haproxy进程ssl最大连接数,用于haproxy配置了证书的场景下
maxconnrate n       #每个进程每秒创建的最大连接数量
spread-checks n     #后端server状态check随机提前或延迟百分比时间，建议2-5(20%-50%)之间，默认值0
pidfile             #指定pid文件路径
log 127.0.0.1 local2 info #定义全局的syslog服务器；日志服务器需要开启UDP协议，最多可以定义两个

3.3状态页

vim /etc/haproxy/haproxy.cfg

查看：

3.4指定进程线程个数：

3.5cpu的亲缘性

3.6日志

HAproxy 本身不记录客户端的访问日志.此外为减少服务器负载,一般生产中 HAProxy 不记录日志.也可以配置 HAProxy 利用 rsyslog 服务记录日志到指定日志文件中

[root@localhost ~]# vim /etc/rsyslog.conf

3.6.1把haproxy.log放在远端服务器：

由于haproxy只能做单一的代理服务，建议将日志文件存放在远端日志服务器。

修改7-1配置文件 ：

[root@localhost ~]# vim /etc/haproxy/haproxy.cfg
 
15 log 192.168.91.4 local6 info
 
[root@localhost ~]# systemctl restart haproxy.service 

修改代理端7-2服务器系统日志管理工具服务的配置文件：

[root@localhost ~]# vim /etc/rsyslog.conf
 15 $ModLoad imudp
 16 $UDPServerRun 514
 74 local6.*                                                /var/log/haproxy.log
[root@localhost ~]# systemctl restart rsyslog.service

重启haproxy服务，查看日志服务器内容：

haproxy代理端：
[root@localhost ~]# systemctl restart haproxy.service
 
日志服务器：
[root@localhost ~]# ll /var/log/haproxy.log
-rw-------. 1 root root 337 3月  10 22:00 /var/log/haproxy.log