web集群haproxy

2301_80613136

已于 2024-09-01 18:17:57 修改

阅读量883

点赞数 26

文章标签：前端 linux 负载均衡

于 2024-08-26 17:45:05 首次发布

本文链接：https://blog.csdn.net/2301_80613136/article/details/141569811

版权

文章目录

一，Haproxy调度算法

一，Haproxy调度算法

1.Haproxy概念

1.1常见的Web集群调度器

目前常见的Web集群调度器分为软件和硬件
软件通常使用开源的LVS、Haproxy、Nginx
硬件一般使用比较多的是F5,国内的产品,如梭子鱼、绿盟（做安全产品的），深信服等

2.Haproxy应用分析

1.1LVS在企业应用中抗负载能力很强,但存在不足

LVS不支持正则处理,不能实现动静分离
对于大型网站,LVS的实施配置复杂,维护成本相对较高

1.2Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件

适用于负载大的Web站点
运行在硬件上可支持数以万计的并发连接的连接请求
是免费、快速并且可靠的一种解决方案。
HAProxy非常适用于并发大(并发达1w以上)web站点,这些站点通常又需要会话保持或七层处理。同时可以保护web服务器不被暴露到网络上。
HAProxy的运行模式使得它可以很简单安全的整合至当前的架构中

3.Haproxy主要特性

可靠性和稳定性非常好,可以与硬件级的F5负载均衡设备相媲美。
最高可以同时维护40000-50000个并发连接,单位时间内处理的最大请求数为20000个,最大处理能力可达10Git/s。
支持8种负载均衡算法,同时也支持会话保持。
支持虚机主机功能,从而实现web负载均衡更加灵活。
支持连接拒绝、全透明代理等独特的功能 ; 连接拒绝全透明代理。
拥有强大的ACL支持,用于访问控制。
其独特的弹性二叉树数据结构,使数据结构的复杂性上升到了o(1),即数据的查寻速度不会随着数据条目的增加而速度有所下降。
支持客户端的keepalive功能,减少客户端与haproxy的多次三次握手导致资源浪费,让多个请求在一个tcp连接中完成。
支持TCP加速,零复制功能,类似于mmap机制。
支持响应池(response·buffering)。
支持RDP协议。
基于源的粘性,类似nginx的ip_hash功能,把来自同一客户端的请求在一定时间内始终调度到上游的同一服务器。
更好统计数据接口,其web接口显示后端集群中各个服务器的接收、发送、拒绝、错误等数据的统计信息。
详细的健康状态检测,web接口中有关于对上游服务器的健康检测状态,并提供了一定的管理功能。
基于流量的健康评估机制。
基于http认证（查看是否有权使用haproxy）。
基于命令行的管理接口。
日志分析器,可对日志进行分析(做日志分割方便分析故障问题)。

4.Haproxy负载均衡策略

roundrobin,表示简单的轮询。
static-rr,表示根据权重。
leastconn,表示最少连接者先处理。
source,表示根据请求源IP。
uri,表示根据请求的URI,做cdn需使用。
url_param,表示根据请求的UR1参数’balance·url_param’ requires·an· URL parameter name。
hdr(name),表示根据HTTP请求头来锁定每一次HTTP请求。
rdp-cookie(name),表示根据cookie(name)来锁定并哈希每一次TCP请求。

5.Haproxy LVS Nginx区别（重点）

5.1实现方式

LVS: 基于 Linux 操作系统内核实现的软负载均衡，属于内核层级的解决方案。
HAProxy 和 Nginx: 基于第三方应用实现的软负载均衡，是用户态的解决方案。

5.2工作层次

LVS: 工作在 ISO 模型的第 4 层（IP 层），只能进行 IP 负载均衡，无法基于目录或 URL 进行转发。
HAProxy 和 Nginx: 可以实现第 4 层（TCP/UDP）和第 7 层（HTTP/HTTPS）的负载均衡，其中 HAProxy 提供更全面的 TCP 和 HTTP 负载均衡解决方案。

5.3状态监测功能

LVS: 由于工作在第 4 层，其状态监测功能相对单一，通常只能检测 IP 和端口是否可达。
HAProxy: 状态监测功能丰富，支持端口、URL、脚本等多种状态检测方式，能够对后端服务进行更精细的监控。
Nginx: 状态监测功能相对较弱，尤其是对于集群节点的健康检查，其性能和功能不如 HAProxy 强大。

5.4性能和应用场景

LVS: 由于工作在第 4 层，处理效率高，适合高吞吐量的负载均衡需求，但功能相对单一。
HAProxy: 功能强大，尤其在第 7 层的 HTTP/HTTPS 负载均衡中表现出色，但整体性能略低于第 4 层的 LVS。
Nginx: 主要用于 Web 服务器或缓存服务器，性能良好，但在负载均衡和状态监测方面不如 HAProxy 专业，适合中小型 Web 应用。

LVS 适合高性能需求。
HAProxy 适合复杂的应用场景而。
Nginx 更适合 Web 服务相关的负载均衡。

6.编译部署Haproxy

6.1配置文件

1.关闭防火墙，强制功能

systemctl stop firewalld
setenforce 0

2.检查内核版本，大于2628haproxy才能安装

uname -r

3.安装依赖包

yum install -y pcre-devel bzip2-devel gcc gcc-c++ make

4.解压

tar xf haproxy-1.5.19.tar.gz

5.编译安装

cd /opt/haproxy-1.5.19/
make TARGET=linux3100 ARCH=x86_64
make install

配置 HAProxy

mkdir /etc/haproxy
cp /opt/haproxy-1.5.19/examples/haproxy.cfg /etc/haproxy/
vim /etc/haproxy/haproxy.cfg
# this config needs haproxy-1.1.28 or haproxy-1.2.1

global        #全局配置，主要用于定义全局参数，属于进程级的配置，通常和操作系统配置有关
        log /dev/log    local0 info
        log /dev/log    local0 notice
        #log loghost    local0 info
        maxconn 4096    #最大连接数，需考虑ulimit -n限制，推荐使用10240
#       hroot /usr/share/haproxy   #注释掉
        uid 99          #用户UID
        gid 99          #用户GID
        daemon          #守护进程模式
        #debug
        #quiet
        nbproc 1        #添加，设置并发进程数，建议与当前服务器CPU核数相等或为其2倍

defaults                #配置默认参数，这些参数可以被用到Listen，frontend，backend组件 
        log     global          #引入global定义的日志格式
        mode    http            #模式为http（7层代理http，4层代理tcp）
        option  httplog         #日志类别为http日志格式
        option  dontlognull     #不记录健康检查日志信息
        retries 3               #检查节点服务器失败次数，连续达到三次失败，则认为节点不可用
        redispatch              #当服务器负载很高时，自动结束当前队列处理比较久的连接
        maxconn 2000            #最大连接数，“defaults”中的值不能超过“global”段中的定义
#       contimeout      5000    #注释掉 设置连接超时时间，默认单位是毫秒
#       clitimeout      50000   #注释掉 设置客户端超时时间，默认单位是毫秒
#       srvtimeout      50000   #注释掉 设置服务器超时时间，默认单位是毫秒

添加下面
timeout http-request 10s 	      #默认http请求超时时间
        timeout queue 1m   		  #默认队列超时时间
        timeout connect 10s		  #默认连接超时时间，新版本中替代contimeout，该参数向后兼容
        timeout client 1m		    #默认客户端超时时间，新版本中替代clitimeout，该参数向后兼容
        timeout server 1m		    #默认服务器超时时间，新版本中替代srvtimeout，该参数向后兼容
        timeout http-keep-alive 10s		#默认持久连接超时时间
        timeout check 10s		    #设置心跳检查超时时间

去除以下
---------------------------------------------------------------------
listen  appli1-rewrite 0.0.0.0:10001
        cookie  SERVERID rewrite
        balance roundrobin
        server  app1_1 192.168.34.23:8080 cookie app1inst1 check inter 2000 rise 2 fall 5
        server  app1_2 192.168.34.32:8080 cookie app1inst2 check inter 2000 rise 2 fall 5
        server  app1_3 192.168.34.27:8080 cookie app1inst3 check inter 2000 rise 2 fall 5
        server  app1_4 192.168.34.42:8080 cookie app1inst4 check inter 2000 rise 2 fall 5
 ---------------------------------------------------------------------------       

listen  webcluster 0.0.0.0:80       #haproxy实例状态监控部分配置，定义一个名为webcluster的应用
        option  httpchk GET /z.html #检查服务器的z.html文件
        balance roundrobin          #负载均衡调度算法使用轮询算法roundrobin  
        cookie  SERVERID insert indirect nocache  #去除这行
        server  inst1 192.168.88.70:80 cookie server01 check inter 2000 fall 3
        server  inst2 192.168.88.80:80 cookie server02 check inter 2000 fall 3
        capture cookie vgnvisitor= len 32         #去除这行

下面的都删除

balance roundrobin 负载均衡调度算法
#轮询算法：roundrobin；最小连接数算法：leastconn；来源访问调度算法：source，类似于nginx的ip_hash

check inter 2000 表示启用对此后端服务器执行健康检查，设置健康状态检查的时间间隔，单位为毫秒连续三次检测不到心跳频率则认为失效

fall 3 表示节点失效
若节点配置后带有“backup”表示该节点只是个备份节点，仅在所有在线节点都失效该节点才启用。不携带“backup”，表示为主节点，和其它在线节点共同提供服务。

7.配置 HAProxy 作为服务来启动和管理

cp /opt/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy
chmod +x /etc/init.d/haproxy
ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
chkconfig --add /etc/init.d/haproxy
/etc/init.d/haproxy start

8.web01服务器配置（192.168.88.70）

systemctl stop firewalld
setenforce 0
yum install -y httpd
systemctl start httpd
cd /var/www/html/
echo "this is xxx01" > z.html

9.web02服务器配置（192.168.88.80）

systemctl stop firewalld
setenforce 0
yum install -y httpd
systemctl start httpd
cd /var/www/html/
echo "this is xxx01" > z.html

6.2测试

在客户端使用浏览器打开 http://192.168.88.60/z.html ，不断刷新浏览器测试负载均衡效果

6.3Haproxy日志管理

需要修改rsyslog配置，为了便于管理。将haproxy相关的配置独立定义到haproxy.conf，并放到/etc/rsyslog.d/下，rsyslog启动时会自动加载此目录下的所有配置文件。
vim /etc/rsyslog.d/haproxy.conf
if ($programname == 'haproxy' and $syslogseverity-text == 'info')#检查日志的来源程序是否是 haproxy，并且日志的严重性级别（syslogseverity）是否为 info。
then -/var/log/haproxy/haproxy-info.log #如果条件为真，则将日志记录到 /var/log/haproxy/haproxy-info.log 文件中。
&~
if ($programname == 'haproxy' and $syslogseverity-text == 'notice') #检查 HAProxy 的日志是否为 notice 级别。
then -/var/log/haproxy/haproxy-notice.log  #如果条件为真，则将日志记录到 /var/log/haproxy/haproxy-notice.log 文件中。
&~   #表示当日志写入到日志文件后，rsyslog停止处理这个信息。
systemctl restart rsyslog.service

在客户端使用浏览器打开 http://192.168.88.60/z.html ，不断刷新浏览器测试负载均衡效果,然后查看

tail -f /var/log/haproxy/haproxy-info.log