Haproxy + pacemaker 实现高可用负载均衡

1.关于Haproxy

一、HAProxy简介

（1）HAProxy 是一款提供高可用性、负载均衡以及基于TCP（第四层）和HTTP（第七层）应用的代理软件，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。 HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上，完全可以支持数以万计的 并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。
（2）HAProxy 实现了一种事件驱动、单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 、系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户端(User-Space) 实现所有这些任务，所以没有这些问题。此模型的弊端是，在多核系统上，这些程序通常扩展性较差。这就是为什么他们必须进行优化以 使每个CPU时间片(Cycle)做更多的工作。
（3）HAProxy 支持连接拒绝 : 因为维护一个连接的打开的开销是很低的，有时我们很需要限制攻击蠕虫（attack bots），也就是说限制它们的连接打开从而限制它们的危害。 这个已经为一个陷于小型DDoS攻击的网站开发了而且已经拯救
了很多站点，这个优点也是其它负载均衡器没有的。
（4）HAProxy 支持全透明代理（已具备硬件防火墙的典型特点）: 可以用客户端IP地址或者任何其他地址来连接后端服务器. 这个特性仅在Linux 2.4/2.6内核打了cttproxy补丁后才可以使用. 这个特性也使得为某特殊服务器处理部分流量同时又不修改服务器的地址成为可能。
性能
（1）单进程、事件驱动模型显著降低了上下文切换的开销及内存占用。
（2）0(1)事件检查器(event checker)允许其在高并发连接中对任何连接的任何事件实现即时探测。
（3）在任何可用的情况下，单缓冲(single buffering)机制能以不复制任何数据的方式完成读写操作，这会节约大量的CPU时钟周期及内存带宽；
（4）借助于Linux 2.6 (>= 2.6.27.19)上的splice()系统调用，HAProxy可以实现零复制转发(Zero-copy forwarding)，在Linux 3.5及以上的OS中还可以实现零复制启动(zero-starting)；
（5）内存分配器在固定大小的内存池中可实现即时内存分配，这能够显著减少创建一个会话的时长；
（6）树型存储：侧重于使用作者多年前开发的弹性二叉树，实现了以O(log(N))的低开销来保持计时器命令、保持运行队列命令及管理轮询及最少连接队列；
（7）优化的HTTP首部分析：优化的首部分析功能避免了在HTTP首部分析过程中重读任何内存区域；
（8）精心地降低了昂贵的系统调用，大部分工作都在用户空间完成，如时间读取、缓冲聚合及文件描述符的启用和禁用等；
所有的这些细微之处的优化实现了在中等规模负载之上依然有着相当低的CPU负载，甚至于在非常高的负载场景中，5%的用户空间占用率和95%的系统空间占用率也是非常普遍的现象，这意味着HAProxy进程消耗比系统空间消耗低20倍以上。因此，对OS进行性能调优是非常重要的。即使用户空间的占用率提高一倍，其CPU占用率也仅为10%，这也解释了为何7层处理对性能影响有限这一现象。由此，在高端系统上HAProxy的7层性能可轻易超过硬件负载均衡设备。
在生产环境中，在7层处理上使用HAProxy作为昂贵的高端硬件负载均衡设备故障故障时的紧急解决方案也时长可见。硬件负载均衡设备在“报文”级别处理请求，这在支持跨报文请求(request across multiple packets)有着较高的难度，并且它们不缓冲任何数据，因此有着较长的响应时间。对应地，软件负载均衡设备使用TCP缓冲，可建立极长的请求，且有着较大的响应时间。

二. 四层和七层负载均衡的区别

(1)四层：
	通过分析IP层及TCP/UDP层的流量实现的基于"IP+端口"的负载均衡。
(2)七层：
	可以根据内容，再配合负载均衡算法来选择后端服务器，不但可以根据"ip+端口"方式进行负载分流，还可以根据网站的URL，访问域名，浏览器类别，语言等决定负载均衡的策略。七层负载均衡模式下，负载均衡与客户端及后端的服务器会分别建立一次TCP连接，而在四层负载均衡模式下(DR)，仅建立一次TCP连接；七层负载均衡对负载均衡设备的要求更高，处理能力也低于四层负载均衡。

环境设定

server1	172.25.78.1	haproxy节点
server2	172.25.78.2	后端服务器
server3	172.25.78.3	后端服务器

2.haproxy实现负载均衡

# 在haproxy节点上

[root@server1 ~]# ls   # 先获取软件包
haproxy-1.7.3.tar.gz 
[root@server1 ~]# yum install rpm-build -y
[root@server1 ~]# rpmbuild -tb haproxy-1.7.3.tar.gz	
[root@server1 ~]# rpm -ivh /root/rpmbuild/RPMS/x86_64/haproxy-1.7.3-1.x86_64.rpm	
[root@server1 ~]# rpm -ql  haproxy-1.7.3-1.x86_64  # 查看haproxy的所有配置文件

[root@server1 ~]# tar zxf haproxy-1.7.3.tar.gz
[root@server1 ~]# cd haproxy-1.7.3
[root@server1 haproxy-1.7.3]# cd examples/
[root@server1 examples]# cp content-sw-sample.cfg  /etc/haproxy/haproxy.cfg  # 获取配置文件，拷贝生成的文件必须是/etc/haproxy/haproxy.cfg，这是其启动脚本规定的	
[root@server1 examples]# cd /etc/haproxy/
[root@server1 haproxy]# vim haproxy.cfg   # 配置haproxy
9  global
10        maxconn         10000     # 进程最大并发连接数
11        stats socket    /var/run/haproxy.stat mode 600 level admin
12        log             127.0.0.1 local0   # 日志级别
13        uid             200       # 文件里默认的uid 和gid
14        gid             200
15        chroot          /var/empty
16        daemon           # 设置为后台进程
19 defaults       # 默认配置，被frontend，backend，listen段继承使用
20        mode            http     # Haproxy工作模式，四层工作模式为TCP
21        log             global
22       option          httplog
23        option          dontlognull
24        monitor-uri     /monitoruri       # 健康检查
25        maxconn         8000
26        timeout client  30s
27        stats uri       /admin/stats     # 监控页面的URL
28        retries         2                # 服务器连接失败后的重试次数
29        option  redispatch      # 如果cookie中写入ServerID而客户端不会刷新Cookie，那么当ServerID对应的服务器宕机后，将强制定向到其它健康的服务器上
30        timeout connect 5s      # 连接最大超时时间，默认毫秒
31        timeout server 5s       # 服务端超时时间

34         bind            *:80 name clear   # 监听所有网络  
45        # use_backend     static if { hdr_beg(host) -i img } 
46        # use_backend     static if { path_beg /img /css   } 
47         default_backend dynamic 
50 backend dynamic 
52         balance         roundrobin   # 负载均衡算法为轮询 
59         server          statsrv1 172.25.78.2:80 check inter 1000 #对后端服务器的健康状况检查间隔为1000毫秒 
60         server          statsrv2 172.25.78.3:80 check inter 1000
         
[root@server1 haproxy]# vim /etc/security/limits.conf
haproxy         -       nofile          10000
[root@server1 haproxy]# groupadd -g 200 haproxy  # 因为配置文件已经默认了haproxy的gid和uid为200，所以我们要建立haproxy用户的gid和uid为200
[root@server1 haproxy]# useradd -u 200 -g 200 -M haproxy
[root@server1 haproxy]# /etc/init.d