Web服务器群集：使用Haproxy搭建Web集群

目录

一、理论

1.Haproxy集群

2.常见的web集群调度器

3.三种web集群调度器的区别

4.下载安装

二、部署Haproxy集群

1.部署

2.重新定义Haproxy集群的日志

三、实验

1.部署Haproxy集群

四、问题

1.nginx编译安装与yum安装的网页配置路径

五、总结

---

一、理论

1.Haproxy集群

（1）概述

haproxv足一个使用C语言编写的自由及开放源代码软件，共提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代理。haproxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。

HAProxv运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上。

HAProxy实现了一种事件驱动，单一进程模型，此模型支持非常大的并发连按数。多进程或多线程模型受内存限制、系统调度器限制以及无处不在的锁限制，很少能处埋数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户空间(User-Space)实现所有这些任务，所以没有这些问题。此模型的弊端是，在多核系统上，这些程序通常扩展性较差。这就足为什么他们必须进行
优化以使每个CPU时间片(Cycle)做更多的工作。

包括 GitHub、Bitbucket、Stack Overflow、Reddit、Tumblr、Twitter 和 Tuenti 在内的知名网站，及亚马逊网络服务系统都使用了HAProxy。
 

（2）特点

① 单进程、事件驱动模型显著降低了上下文切换的开销及内存占用。

事件检查器(event checker)允许其在高并发连接中对任何连接的任何事件实现即时探测。

② 在任何可用的情况下，单缓冲(single buffering)机制能以不复制任何数据的方式完成读写操作，这会节约大量的CPU时钟周期及内存带宽。

③ 借助于Linux 2.6 (>= 2.6.27.19)上的splice()系统调用，HAProxy可以实现零复制转发(Zero-copy forwarding)，在Linux 3.5及以上的OS中还可以实现零复制启动(zero-starting)。

④ 内存分配器在固定大小的内存池中可实现即时内存分配，这能够显著减少创建一个会话的时长。

⑤ 树型存储：侧重于使用作者多年前开发的弹性二叉树，实现了低开销来保持计时器命令、保持运行队列命令及管理轮询及最少连接队列。

⑥ 优化的HTTP首部分析：优化的首部分析功能避免了在HTTP首部分析过程中重读任何内存区域。

⑦ 精心地降低了昂贵的系统调用，大部分工作都在用户空间完成，如时间读取、缓冲聚合及文件描述符的启用和禁用等。

（3）优势

① Haproxy在负载均衡的速度和并发处理上优于nginx
② Haproxy支持虚拟主机，工作在4,7层
③ Haproxy有会话保持，cookie引导等工作
④ Haproxy支持以url的方式检测后端服务器状态
⑤ Haproxy可以对mysql进行负载均衡
⑥ Haproxy支持很多负载均衡算法：轮询。加权轮询，原地址保持，请求URL，根据cookie

（4）Haproxy主要工作位置

 Haproxy支持http反向代理
 Haproxy支持动态程序的反向代理

 Haproxy支持基于数据库的反向代理

2.常见的web集群调度器

（1）硬件

通常使用较多的是F5，国内使用较多是梭子鱼，绿盟等

（2）软件

通常使用开源的Haproxy，nginx，lvs

（3）云端

通常使用SLB，国内使用较多是阿里云、腾讯云、华为云

3.三种web集群调度器的区别

表1 集群调度器区别

类别	功能
Haproxy	支持八种负载均衡策略 仅做负载均衡软件使用，在高并发情况下性能优于nginx 支持URL健康检查，支持会话保持
nginx	支持正则表达式 对网络稳定性要求不高 只支持基于端口检查 不支持会话保持 反向代理能力强
lvs	应用范围广泛 在四层做分发作用，负载均衡能力强 只能基于四层端口转发

4.下载安装

（1）下载地址

haproxy官方文档:https://cbonte.github.io/haproxy-dconv/

haproxy源码包下载地址:https://src.fedoraproject.org/repo/pkgs/haproxy/

（2）安装

haproxy安装分为两种：yum安装和源码安装

二、部署Haproxy集群

1.部署

（1）实验环境

拓扑图

Haproxy服务器：192.168.204.250
Nginx 服务器1：192.168.204.200
Nginx 服务器2：192.168.204.150
客户端：192.168.204.100

（2）部署Nginx 服务器1：192.168.204.200

编译安装：

①  #关闭防火墙
systemctl stop firewalld
setenforce 0
 
② #安装依赖关系包
yum -y install pcre-devel zlib-devel gcc gcc-c++ make

③ #新建用户和组便于管理
useradd -M -s /sbin/nologin nginx
 
④ #切换至opt目录，将下载好的压缩包传进来解压
cd /opt
rz -E
tar -zxf nginx-1.24.0.tar.gz 
 
⑤ #切换至解压后的目录下编译
cd nginx-1.24.0
 
./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module
 
⑥ #安装
make -j4 && make install
 
⑦ #做软连接，让系统识别nginx的操作命令
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
 
⑧ #将nginx命令加入服务
cd /lib/systemd/system
vim nginx.service
#!/bin.bash
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/usr/bin/kill -s HUP $MAINPID
ExecStop=/usr/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
 
⑨ #创建站点目录
echo "this is david web" > /usr/local/nginx/html/index.html 
cat /usr/local/nginx/html/index.html
 
⑩ #重新加载单元.启动服务
systemctl daemon-reload 
systemctl start nginx
 
⑪ #查看是否能成功启动
ss -ntap|grep nginx
curl 192.168.204.200
或者浏览器访问
192.168.204.200

（3）部署Nginx 服务器2：192.168.204.150

yum安装：

表1 Nginx安装流程

序号	操作	关键命令	文件
1	搭建nginx相关的yum源	vim /etc/yum.repos.d/nginx.repo [nginx-stable] name=nginx stable repo baseurl=http://nginx.org/packages/centos/7/$basearch/ gpgcheck=0 enabled=1	安装所获得的软件包都是来源于httpd源
2	清理源缓存、重新加载源	yum clean all && yum makecache
3	安装nginx服务	yum -y install nginx
4	查看nginx版本	nginx -v
5	创建站点目录	echo "this is jack web" > /var/www/html/index.html  cat /var/www/html/index.html
6	启动nginx服务并设置为开机自启	systemctl start nginx systemctl enable nginx
7	监听服务端口	netstat -antp| grep nginx

（4）部署Haproxy服务器：192.168.204.250

① #关闭防火墙，将安装Haproxy所需软件包传到/opt目录下
systemctl stop firewalld
setenforce 0
 
cd /opt
haproxy-1.5.18.tar.gz
 
② #安装依赖软件
yum install -y pcre-devel bzip2-devel gcc gcc-c++ make
 
③ #解压安装包，并切换至该软件包
cd /opt
rz -E
tar zxf haproxy-1.5.18.tar.gz 
cd haproxy-1.5.18/
 
④ #编译安装Haproxy
make TARGET=linux2628 ARCH=x86_64
make install
####################参数说明###################
TARGET=linux26 #内核版本，
#使用uname -r查看内核，如：2.6.18-371.el5，此时该参数用TARGET=linux26；kernel大于2.6.28的用TARGET=linux2628
ARCH=x86_64 #系统位数，64位系统
 
⑤ #Haproxy服务器配置
mkdir /etc/haproxy
cp examples/haproxy.cfg /etc/haproxy/
 
cd /etc/haproxy/
vim haproxy.cfg
global
--4~5行--修改，配置日志记录，local0为日志设备，默认存放到系统日志
		log /dev/log   local0 info		
        log /dev/log   local0 notice
        #log loghost    local0 info
        maxconn 4096					#最大连接数，需考虑ulimit -n限制
--8行--注释，chroot运行路径，为该服务自设置的根目录，一般需将此行注释掉
        #chroot /usr/share/haproxy
        uid 99							#用户UID
        gid 99							#用户GID
        daemon							#守护进程模式
 
defaults        
		log     global					#定义日志为global配置中的日志定义
        mode    http					#模式为http
        option  httplog					#采用http日志格式记录日志
        option  dontlognull				#不记录健康检查日志信息
        retries 3						#检查节点服务器失败次数，连续达到三次失败，则认为节点不可用
        redispatch						#当服务器负载很高时，自动结束当前队列处理比较久的连接
        maxconn 2000					#最大连接数
        contimeout      5000			#连接超时时间
        clitimeout      50000			#客户端超时时间
        srvtimeout      50000			#服务器超时时间
 
--删除下面所有listen项--，添加
listen  webcluster 0.0.0.0:80			#定义一个名为webcluster的应用
        option httpchk GET /index.html	#检查服务器的index.html文件
        balance roundrobin				#负载均衡调度算法使用轮询算法roundrobin
        server inst1 192.168.204.200:80 check inter 2000 fall 3		#定义在线节点
        server inst2 192.168.204.150:80 check inter 2000 fall 3
		
		
		
##########################参数说明########################
balance roundrobin #负载均衡调度算法
#轮询算法：roundrobin；最小连接数算法：leastconn；来源访问调度算法：source，类似于nginx的ip_hash
 
check inter 2000 #表示haproxy服务器和节点之间的一个心跳频率
fall3 #表示连续三次检测不到心跳频率则认为该节点失效
若节点配置后带有“backup”表示该节点只是个备份节点，只有主节点失效该节点才会上。不携带“backup”，表示为主节点，和其它主节点共同提供服务。
 
 
 
⑥ #添加haproxy系统服务
cp /opt/haproxy-1.5.18/examples/haproxy.init /etc/init.d/haproxy
cd /etc/init.d/
chmod +x haproxy 
chkconfig --add /etc/init.d/haproxy 
ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
service haproxy start

（5）客户端：192.168.204.100测试验证

在客户端使用浏览器打开 
192.168.204.250
不断刷新浏览器测试负载均衡效果
或
curl 192.168.204.250

2.重新定义Haproxy集群的日志

默认haproxy的日志是输出到系统的syslog中，查看起来不是非常方便，为了更好的管理haproxy的日志，我们在生产环境中一般单独定义出来。需要将haproxy的info及notice日志分别记录到不同的日志文件中。

① #修改haproxy主配置文件
vim /etc/haproxy/haproxy.cfg
-----------------------------------修改以下内容
global
	log /dev/log local0 info
	log /dev/log local0 notice
------------------------------------
 
② #重启服务
service haproxy restart

需要修改rsyslog配置，为了便于管理。将haproxy相关的配置独立定义到haproxy.conf，并放到/etc/rsyslog.d/下，rsyslog启动时会自动加载此目录下的所有配置文件。

③ #修改rsyslog配置文件
vim /etc/rsyslog.d/haproxy.conf
---------------------------------------------------------------------添加如下内容
if ($programname == 'haproxy' and $syslogseverity-text == 'info')
then -/var/log/haproxy/haproxy-info.log
&~
if ($programname == 'haproxy' and $syslogseverity-text == 'notice')
then -/var/log/haproxy/haproxy-notice.log
&~
--------------------------------------------------------------------------

这部分配置是将haproxy的info日志记录到/var/log/haproxy/haproxy-info.log下，将notice日志记录到/var/log/haproxy/haproxy-notice.log下。“&~”表示当日志写入到日志文件后，rsyslog停止处理这个信息。

④ #创建目录、重启服务、查看验证
mkdir /var/log/haproxy/
systemctl restart rsyslog.service
 
tail -f /var/log/haproxy/haproxy-info.log			#查看haproxy的访问请求日志信息

三、实验

1.部署Haproxy集群

（1）部署Nginx 服务器1：192.168.204.200

①编译安装

②创建站点目录

 

③ 启动服务

 ④查看是否能成功启动

（2）部署Nginx 服务器2：192.168.204.150

① yum安装

②创建站点目录

 

  ③启动服务

 ④查看是否能成功启动

（3）部署Haproxy服务器：192.168.204.250

①关闭防火墙，将安装Haproxy所需软件包传到/opt目录下

 

 ②安装依赖软件

 ③解压安装包，并切换至该软件包

 ④编译安装Haproxy

 

⑤ Haproxy服务器配置

 

 

 ⑥添加haproxy系统服务

（4）客户端：192.168.204.100测试验证

四、问题

1.nginx编译安装与yum安装的网页配置路径

（1）编译安装网页配置路径

/usr/local/nginx/html

（2）yum安装网页配置路径

/var/www/html

五、总结

HA-Proxy是一款高性能的负载均衡软件。因为其专注于负载均衡这一件事情，因此与nginx比起来在负载均衡这件事情上做更好，更专业。

负载均衡是通过OSI协议对应的。
7层负载均衡：用的7层http协议，4层负载均衡：用的是tcp协议加端口号做的负载均衡。

HAproxy配置文件主要由5个部分组成：

HAProxy 的配置文件haproxy.cfg由两大部分组成，分别是global和proxies部分，配置文件对缩进没有要求

-   global：全局配置段
    -   进程及安全配置相关的参数 
    -   性能调整相关参数 
    -   Debug参数
-   proxies：代理配置段
    -   defaults：为frontend, backend, listen提供默认配置 
    -   frontend：前端，相当于nginx中的server {} ；可以有多组
    -   backend：后端，相当于nginx中的upstream {}；可以有多组，
    -   listen：同时拥有前端和后端配置，配置简单，生产推荐使用