集群（三）——haproxy+nginx搭建web集群

一、Haproxy 前言

• Haproxy是一个使用C语言编写的自由及开放源代码软件，其提供高可用性、负载均衡，以及基于TCP和HTT的应用程序代理。
• Haproxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。Haproxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上。
• Haproxy实现了一种事件驱动，单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户空间(User-Space)实现所有这些任务，所以没有这些问题。
• 此模型的弊端是，在多核系统上，这些程序通常扩展性较差。这就是为什么他们必须进行优化以使每个CPU时间片(Cycle)做更多的工作。
• 包括GitHub，Bitbucket，stack overflow，Reddit Tumblr，Twitter 和 Tuenti 在内的知名网站，及亚马逊网络服务系统都使用了Haproxy

二、Haproxy 简介

1、常见的web集群调度器

• 目前常见的web集群调度器分为软件和硬件
  • 软件通常使用开源的LVS、 Haproxy、Nginx
• LVS性能最好，但是搭建相对复杂；Nginx的upstream模块支持群集功能，但是对群集节点健康检查功能不强，高并发性能没有Haproxy好。
• 硬件一般使用比较多的是F5，也有很多人使用国内的一些产品，如梭子鱼、绿盟等

2、Haproxy应用分析

• LVS在企业应用中抗负载能力很强，但存在不足
  • LVS不支持正则处理，不能实现动静分离
  • 对于大型网站，LVS的实施配置复杂，维护成本相对较高
• Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件适用于负载大的web站点运行在硬件上可支持数以万计的并发连接的连接请求

3、Haproxy高性能负载均衡的主要优点：

• Haproxy在负载均衡速度和并发处理上是优于Nginx
• Haproxy支持虚拟主机，可以工作在4、7层
• 能够补充Nginx的一些缺点，比如session的保持、Cookie的引导等工作
• 支持url检测后端的服务器的状态
• Haproxy可以对Mysql进行负载均衡，对后端的DB节点进行检测和负载均衡
• 支持很多负载均衡算法， Round-robin (轮询) 、weight-round-robin (加权轮询)、 source (原地址保持) 、RI(请求URL) 、rdp-cookie (根据cookie)

4、四层与七层负载的主要区别

• 四层负载均衡器是通过分析IP层及TCP/UDP层的流量实现的基于“IP +端口”的负载均衡，主要通过报文的目标地址和端口配合负载均衡算法选择后端真实服务器，确定是否需要对报文进行修改(根据需求，可能会修改目标地址、源地址、MAC地址等)并将数据转发至选出的后端真实服务器。

• 七层负载均衡器是基于应用层信息(如URL、Cookies等)的负载均衡。主要依据报文的内容配合负载均衡算法选择后端真实服务器，然后再分发请求到真实服务器进行处理，也称"内容交换器"。客户端与负载均衡器、负载均衡器与后端真实服务器之间会分别建立TCP连接。

三、Haproxy调度算法原理

• Haproxy支持多种调度算法，最常用的有三种
  • RR （Round Robin）：RR算法是最简单常用的一种算法，即轮询调度
  • LC（Least Connections）：最小连接数算法，根据后端的节点连接数大小动态分配前端请求。
  • SH（Source Hashing）：基于来源访问调度算法，用于一些有Session会话记录在服务器端的场景，可以基于来源的IP、Cookie等做集群调度

四、LVS、Haproxy、nginx区别

1、LVS和Haproxy应用分析

• LVS在企业应用中抗负载均衡能力很强，但存在不足
• LVS不支持正则处理(因为是应用层)，不能实现动静分离
• 对于大型网站，LVS的实施配置复杂，维护成本相对较高
• Haproxy是一块可提供高可用性、负载均衡及基于TCP和HTTP应用的代理软件
• 特别适合于负载特别大的web站点(可以承受高并发,可与Nginx配合)
• 运行在当前的硬件上可支持数以万计的并发连接请求

2、nginx和LVS、Haproxy的区别

①、nginx

• 支持正则
• 只支持基于端口的健康检查
• 不支持session的直接保持，但能通过IP_hash来解决
• 对网络稳定性要求不高
• 反向代理能力强
• nginx社区活跃

②、LVS

• 只能基于四层端口转发
• 在四层做分发作用，抗负载能力强
• 应用范围广（几乎可以对所有应用做负载）

③、Haproxy

• 支持8种负载均衡策略
• 仅做负载均衡软件使用，在高并发情况下性能优于nginx
• 支持URL健康检测、支持session保持

五、实验：Haproxy搭建 Web 群集

1、规划

服务器	IP
Haproxy	192.168.184.10
nginx1	192.168.184.40
nginx2	192.168.184.50
centos客户端	192.168.184.70

• 注：使用uname -r查看内核，如：2.6.18-371.el5，此时该参数用TARGET=linux26；kernel大于2.6.28的用TARGET=linux2628

2、部署haproxy服务器（192.168.184.10）

systemctl stop firewalld
setenforce 0

cd /opt
haproxy-1.5.19.tar.gz

yum install -y pcre-devel bzip2-devel gcc gcc-c++ make

tar zxvf haproxy-1.5.19.tar.gz
cd haproxy-1.5.19/
make TARGET=linux2628 ARCH=x86_64
make install

#Haproxy服务器配置
mkdir /etc/haproxy
cp examples/haproxy.cfg /etc/haproxy/

cd /etc/haproxy/
vim haproxy.cfg
global

#4~5行–修改，配置日志记录，local0为日志设备，默认存放到系统日志
log /dev/log   local0 info		
log /dev/log   local0 notice
#log loghost    local0 info
maxconn 4096					#最大连接数，需考虑ulimit-n限制

#8行–注释，chroot运行路径，为该服务自设置的根目录，一般需将此行注释掉
#chroot /usr/share/haproxy
uid 99							#用户UID
gid 99							#用户GID
daemon							#守护进程模式

defaults        
log     global					#定义日志为global配置中的日志定义
mode    http					#模式为http
option  httplog					#采用http日志格式记录日志
option  dontlognull				#不记录健康检查日志信息
retries 3						#检查节点服务器失败次数，连续达到三次失败，则认为节点不可用
redispatch						#当服务器负载很高时，自动结束当前队列处理比较久的连接
maxconn 2000					#最大连接数
contimeout      5000			#连接超时时间
clitimeout      50000			#客户端超时时间
srvtimeout      50000			#服务器超时时间

listen  webcluster 0.0.0.0:80		
    option httpchk GET /test.html	#检查服务器的test.html文件
    balance roundrobin				#负载均衡调度算法使用轮询算法roundrobin
    server inst1 192.168.184.40:80 check inter 2000 fall 3		#定义在线节点
    server inst2 192.168.184.50:80 check inter 2000 fall 3

3、编译安装Nginx服务器

systemctl stop firewalld
setenforce 0

yum install -y pcre-devel zlib-devel gcc gcc-c++ make 

useradd -M -s /sbin/nologin nginx

cd /opt
tar zxvf nginx-1.12.0.tar.gz -C /opt/

cd nginx-1.12.0/
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx

make && make install

ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/

nginx      #启动nginx 服务

4、启动Haproxy服务

cp /opt/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy
cd /etc/init.d/
ls
chmod +x haproxy
chkconfig --add /etc/init.d/haproxy
ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy

service haproxy start

5、客户端测试