Haproxy搭建Web群集

最新推荐文章于 2024-08-24 15:46:50 发布
最新推荐文章于 2024-08-24 15:46:50 发布
阅读量177 收藏
点赞数
文章标签： nginx haproxy linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_55609814/article/details/118021964
版权

Haproxy搭建Web群集

Haproxy

Haproxy是什么

  • HAProxy是一个使用C语言编写的自由及开放源代码软件[1]，其提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代理。
  • HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。
  • HAProxy实现了一种事件驱动, 单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 、系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户空间(User-Space) 实现所有这些任务，所以没有这些问题。此模型的弊端是，在多核系统上，这些程序通常扩展性较差。这就是为什么他们必须进行优化以 使每个CPU时间片(Cycle)做更多的工作。
  • 包括 GitHub、Bitbucket[3]、Stack Overflow[4]、Reddit、Tumblr、Twitter[5][6]和 Tuenti[7]在内的知名网站，及亚马逊网络服务系统都使用了HAProxy。

■常见的Web集群调度器

  • 目前常见的Web集群调度器分为软件和硬件
  • 软件通常使用开源的LVS、Haproxy、 Nginx
    • LVS性能最好，但是搭建相对复杂; Nginx 的upstream模块支持群集功能，但是对群集节点健康检查功能不强，高并发性能没有Haproxy好。
  • 硬件一般使用比较多的是F5，也有很多人使用国内的一些产品，如梭子鱼、绿盟等

■LVS在企业应用中抗负载能力很强，但存在不足

  • LVS不支持正则处理，不能实现动静分离
  • 对于大型网站，LVS的实施配置复杂，维护成本相对较高

■Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件

  • 适用于负载大的Web站点
  • 运行在硬件.上可支持数以万计的并发连接的连接请求

■Haproxy支持多种调度算法，最常用的有三种

●RR (Round Robin)

  • RR算法是最简单最常用的一种算法，即轮询调度

●理解举例

  • 有三个节点A、B、C
  • 第一个用户访问会被指派到节点A
  • 第二个用户访问会被指派到节点B
  • 第三个用户访问会被指派到节点C
  • 第四个用户访问继续指派到节点A,轮询分配访问请求实现负载均衡效果

●LC (Least Connections )

  • 最小连接数算法，根据后端的节点连接数大小动态分配前端请求

●理解举例

  • 有三个节点A、B、C,各节点的连接数分别为A:4、B:5、 C:6
  • 第一个用户连接请求，会被指派到A上，连接数变为A:5、B:5、 C:6
  • 第二个用户请求会继续分配到A上，连接数变为A:6… B:5、 C:6; 再有新的请求会分配给B，每次将新的请求指派给连接数最小的客户端
  • 由于实际情况下A、B、C的连接数会动态释放，很难会出现一样连接数的情况
  • 此算法相比较rr算法有很大改进，是目前用到比较多的一种算法

●SH (Source Hashing)

  • 基于来源访问调度算法，用于- -些有Session会话记录在服务 器端的场景，可以基于来源的IP、Cookie等做集群调度

●理解举例

  • 有三个节点A、B、C,第一个用户第一次访问被指派到了A,第二个用户第一次访问被指派到了B
  • 当第一个用户第二次访问时会被继续指派到A,第二个用户第二次访问时依旧会被指派到B，只要负载均衡调度器不重启，第一个用户访问都会被指派到A,第二个用户访问都会被指派到B，实现集群的调度
  • 此调度算法好处是实现会话保持，但某些IP访问量非常大时会引|起负载不均衡,部分节点访问量超大，影响业务使用

■HAProxy的主要特性

  • HAProxy的主要特性有:
    • 可靠性和稳定性非常好，可以与硬件级的F5负载均衡设备相媲美;
    • 最高可以同时维护40000-50000个并发连接，单位时间内处理的最大请求数为20000个，最大处理能力可达10Git/s;
    • 支持多达8种负载均衡算法，同时也支持会话保持;!
    • 支持虚机主机功能，从而实现web负载均衡更加灵活;
    • 支持连接拒绝、全透明代理等独特的功能;
    • 拥有强大的ACL支持，用于访问控制;
    • 其独特的弹性二叉树数据结构，使数据结构的复杂性上升到了0(1)，即数据的查寻速度不会随着数据条目的增加而速度有所下降;
    • 支持客户端的keepalive功能，减少客户端与haproxy的多次三次握手导致资源浪费，让多个请求在–个tcp连接中完成;
    • 支持TCP加速， 零复制功能，类似于mmap机制;
    • 支持响应池( response buffering) ;
    • 支持RDP协议;
    • 基于源的粘性，类似nginx的ip_hash功能，把来自同一客户端的请求在一定时间内始终调度到上游的同一服务器;
    • 更好统计数据接口，其web接口显示后端集群中各个服务器的接收、发送、拒绝、错误等数据的统计信息;
    • 详细的健康状态检测，web接口中有关于对上游服务器的健康检测状态，并提供了一定的管理功能;
    • 基于流量的健康评估机制;
    • 基于http认证;
    • 基于命令行的管理接口;
    • 日志分析器，可对日志进行分析。

■HAProxy负载均衡策略非常多，常见的有如下8种:

  • roundrobin: 表示简单的轮询。
  • static-rr: 表示根据权重。
  • leastconn: 表示最少连接者先处理。
  • source: 表示根据请求的源IP，类似Nginx的IP_ hash机制。
  • ri: 表示根据请求的URI。
  • rl param: 表示根据HTTP请求头来锁定每一次HTTP请求。
  • rdp-cookie (name): 表示根据据cookie (name)来锁定并哈希每一次TCP请求 。

■LVS、Nginx、HAproxy的区别

  • LVS基于Linux操作系统实现软负载均衡，而HAProxy和Nginx是基于第三方应用实现的软负载均衡;
  • LVS是可实现4层的IP负载均衡技术，无法实现基于目录、URL的转发。而HAProxy和Nginx都可以实现4层和7层技术，HAProxy 可提供TCP和HTTP应用的负载均衡综合解决方案;
  • LVS因为工作在IS0模型的第四层，其状态监测功能单一，而HAProxy在状 监测方面功能更丰富、强大，可支持端口、URL、脚本等多种状态检测方式;
  • HAProxy功能强大，但整体性能低于4层模式的LVS负载均衡。
  • Nginx主要用于Web服务器或缓存服务器。

■搭建步骤

使用三台服务器模拟搭建一套 Web 群集，具体的拓扑图如下所示：
在这里插入图片描述

1.环境

主机操作系统IP 地址主要软件
Haproxy 服务器CentOS 7192.168.239.110haproxy-1.59.tar.gz
Nginx 服务器 1CentOS 7-2192.168.239.111nginx-1.12.2.tar
Nginx 服务器 2CentOS 7-3192.168.239.112nginx-1.12.2.tar
客户端Win7192.168.239.113浏览器

2.编译安装 Nginx 服务器

1.搭建 Nginx 1（CentOS 7-2）
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 回到 VMware，打开火狐浏览器进行访问测试
    在这里插入图片描述
    2.搭建 Nginx 2（Cent0S 7-3）
  • 搭建步骤与 Nginx 1 相同，不同之处在于建立的测试页面
    在这里插入图片描述
  • 回到 VMware，打开火狐浏览器进行访问测试
    在这里插入图片描述
    3.编译安装 Haproxy
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    4.Haproxy 服务器配置
mkdir /etc/haproxy
cp examples/haproxy.cfg /etc/haproxy/

cd /etc/haproxy/
vim haproxy.cfg

global
#为设定的全局配置部分
#属于进程级别的配置，通常和使用的操作系统配置相关

#4~5行，修改配置全局日志记录，local0为日志设备，默认存放到系统日志
		log /dev/log   local0 info		
        log /dev/log   local0 notice
        #log loghost    local0 info
        maxconn 4096                #每个 haproxy 进程可以接受的最大连接数，需考虑 ulimit-n 的限制
#8行，注释，chroot运行路径，为该服务自设置的根目录，一般需将此行注释掉
        #chroot /usr/share/haproxy
        uid 99                      #用户UID
        gid 99                      #用户GID
        daemon                      #守护进程模式

defaults
#为缺省默认配置部分
#这些设置参数属于公共配置，一般会被自动集成到 listen、frontend 和 backend 中
#如果没有在这几部分特别声明，将按照配置参数设置
		log     global					#缺省日志配置，定义日志为global配置中的日志记录定义
        mode    http					#设置 Haproxy 默认运行模式，为http
        option  httplog					#采用http日志格式记录日志
        option  dontlognull				#不记录健康检查日志信息
        retries 3						#检查节点服务器失败次数，连续达到三次失败，则认为节点不可用
        redispatch						#当服务器负载很高时，自动结束当前队列处理比较久的连接
        maxconn 2000					#最大连接数
        contimeout      5000			#连接超时时间
        clitimeout      50000			#客户端超时时间
        srvtimeout      50000			#服务器超时时间

#删除下面所有的listen项，添加
listen  webcluster 0.0.0.0:80
        #定义一个名为 webcluster 的 Haproxy 监控页面，监听端口为 80
        option httpchk GET /test.html
        #检查服务器的test.html文件
        balance roundrobin
        #负载均衡调度算法使用轮询算法roundrobin
        server inst1 192.168.80.100:80 check inter 2000 fall 3
        #定义在线节点
        server inst2 192.168.80.101:80 check inter 2000 fall 3

在这里插入图片描述

补充：

  • balance roundrobin 负载均衡调度算法
  • 轮询算法：roundrobin；最小连接数算法：leastconn；来源访问调度算法：source，类似于nginx的ip_hash
  • check inter 2000 表示haproxy服务器和节点之间的一个心跳频率
  • fall 3 表示连续三次检测不到心跳频率则认为该节点失效
  • 若节点配置后带有“backup”表示该节点只是个备份节点，只有主节点失效该节点才会上。
  • 不携带“backup”，表示为主节点，和其它主节点共同提供服务。

5.添加并开启 haproxy 系统服务

cp /opt/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy
cd /etc/init.d
chmod +x haproxy
#赋权

chkconfig --add /etc/init.d/haproxy
#增加该服务，让chkconfig指令得以管理它，并同时在系统启动的叙述文件内增加相关数据

ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
#优化路径，把 haproxy 放入系统命令路径以识别

service haproxy start
或
/etc/init.d/haproxy start
#开启服务

在这里插入图片描述
6.测试 Web 群集

  • 通过以上步骤，已经搭建完成了 Haproxy 的 Web 群集，接下来需要验证群集是否工作正常
  • 一个群集一般需要具备两个特征，第一个是高性能，第二个是高可用

6.1 测试高性能

  • 在客户端使用浏览器打开 http://192.168.239.110/test.html
    在这里插入图片描述
  • 刷新浏览器页面，用以测试负载均衡效果
    在这里插入图片描述
  • 可以看到负载均衡已经生效，满足了群集的高性能需求

6.2 测试高可用性

  • 停止 Nginx 1 的服务，用于模拟故障
    在这里插入图片描述
  • 再客户端使用浏览器打开 http://192.168.239.110/test.html
    在这里插入图片描述
  • 可以看到仍然可以访问 另一台 Nginx 节点服务器的页面，即当一台节点出现故障，并不会影响群集的使用，这样就满足了高可用性
  • 也可以停止Nginx2，回复Nginx1，用以测试高可用性

■Haproxy 的日志

1.修改 Haproxy 配置文件中关于日志配置的选项

  • 加入以下配置（之前配置时已经更改过，现在是有的，这里了解参考下）
  • 需要将 haproxy 的 info 及 notice 日志分别记录到不同的日志文件中
    在这里插入图片描述
    2.修改 rsyslog 配置
  • 需要修改 rsyslog 配置，为了便于管理
  • 将 haproxy 相关的配置独立定义到 haproxy.conf，并放到 /etc/rsyslog.d/ 下，rsyslog 启动时会自动加载此目录下的所有配置文件
    在这里插入图片描述
  • 这部分配置是将 haproxy 的 info 日志记录到 /var/log/haproxy/haproxy-info.log 下，将 notice 日志记录到 /var/log/haproxy/haproxy-notice.log 下
  • “&~” 表示当日志写入到日志文件后，rsyslog 停止处理这个信息
    在这里插入图片描述

■Haproxy 的参数优化

  • 关于 Haproxy 的参数优化，以下列举了几个关键的参数，并对各参数在生产环境的优化建议做了说明
  • 如下表所示：
参数参数说明优化建议
maxconn最大连接数此参数根据应用的实际使用情况进行调整，推荐使用 10 240
daemon守护进程模式Haproxy 可以使用非守护进程模式启动，生产环境建议使用守护进程模式启动
nbproc负载均衡的并发进程数建议与当前服务器 CPU 核数相等或为其 2 倍
retries重试次数此参数主要用于对群集节点的检查，如果节点多且并发量大，设置为 2 次或 3 次；而在服务器节点不多的情况下，可以设置为 5 次或 6 次
option http-server-close主动关闭 http 请求选项建议在生产环境中使用此选项，避免由于 timeout 时间设置过长导致 http 连接堆积
timeout http-keep-alive长连接超时时间此选项设置长时间连接超时时间，具体可参考应用自身特点设置，可以设置为 10s
timeout http-requesthttp 请求超时时间建议将此事件设置为 5~10s，增加 http 连接释放速度
timeout client客户端超时时间如果访问量过大，节点响应慢，可以将此事件设置短一些，建议设置为 1min 左右就可以了
吾妻雪乃
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Haproxy搭建web群集
abjava1的博客
11-27 401
目录 一.常见的web集群调度器 二、Haproxy应用分析 1、LVS在企业应用中抗负载能力很强，但存在不足 2、Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理软件 三、Haproxy调度算法原理 1、RR（Round Robin） 2、LC（Least Connections） 3、SH（Source Hashing） 四、Haproxy介绍 1、HAProxy是什么 2、 Haproxy的特性 3、负载均衡策略 4、 LVS、Nainx、HAp
Haproxy搭建 Web 群集
2301_76858832的博客
06-18 712
Haproxy是可提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，是免费、快速并且可靠的一种解决方案。Haproxy非常适用于并发大（并发达1w以上）web站点，这些站点通常又需要会话保持或七层处理。Haproxy的运行模式使得它可以很简单安全的整合至当前的架构中，同时可以保护web服务器不被暴露到网络上。
第四章 haproxy搭建web群集
06-15
haproxy/nginx/tomcat
Haproxy高可用群集配置
01-20
文章目录一、概述二、实验目的三、实验拓扑四、实验环境五、实验配置5.1、haproxy服务器配置5.2...适合于负载特别大的Web站点 运行在当前的硬件上可支持数以万计的并发连接请求 二、实验目的 当高并发请求来临时，hapro
haproxy 群集所需软件包
04-08
haproxy是一款高性能的负载均衡器，常用于构建高可用性、高可扩展性的Web服务集群。它能够将网络流量分配到多个后端服务器，从而提高系统的整体处理能力和稳定性。在部署haproxy群集时，确保安装了正确的软件包至关...
HAproxy搭建1
08-08
HAproxy搭建1
Haproxy高可用环境搭建笔记
09-08
Haproxy高可用环境搭建笔记. x
虚拟内存和linux（操作系统part1）
最新发布
linjixia的博客
08-24 442
八股之虚拟内存和Linux部分的笔记。
Linux 线程的控制 互斥与同步
qq_63145217的博客
08-23 819
include //头文件sem_t sem;信号量的类型 信号量的变量。
Linux自旋锁和读写锁
m0_74830524的博客
08-24 359
在前面的文章中我们已经介绍了有关互斥锁的概念与使用，本篇将开始介绍在 Linux 中的自旋锁和读写锁。这三种锁分别用于在不同的应用场景之中，其中互斥锁最为常用，但是我们需要了解一下其他的锁。 对于自旋锁和读写锁都介绍了其原理以及接口使用，并且给出了样例代码。
在Linux上构建Windows应用程序：深入探索跨平台开发的实践与挑战
w651428055的博客
08-21 1075
在Linux上构建Windows应用程序，不仅拓宽了开发者的技能范围，也为软件产品的多平台部署提供了灵活性和成本效益。虽然这一过程面临挑战，但通过合理选择工具、框架和策略，可以有效地克服这些障碍。随着技术的不断进步，跨平台开发将变得更加成熟和便捷，为软件开发带来更多的可能性和机遇。未来，随着更多高效工具和框架的出现，跨平台开发的效率和质量有望进一步提升，为软件工程领域注入新的活力。
linux定期统计某个目录内每天的文件增量大小
mengbing1990的博客
08-21 179
每天统计一次前一天的日志量大小，并将每个目录的大小记录一份日志。 本测试脚本下，所有目录产生的日志均有固定格式，如每个目录不一样的话，需定义find语句中的name变量。
Linux中信号量相关接口及环形队列
2301_77479435的博客
08-22 310
Linux中信号量相关接口及环形队列
Linux 实用运维sh脚本分享
08-22 247
【代码】Linux 实用运维sh脚本分享。
linux被植入木马排查思路
qq_59634082的博客
08-20 910
1、查看一定时间内文件的情况 find / -name "*" -type f -newermt '2022-08-25 00:00:00'!2、查看tomcat、nginx的比较大的.jsp .htm文件 find /目录 -name .jsp -o -size +10000k。在相应的文件里把tomcat2用户添加的内容删除 /etc/shadow /etc/group ，异常用户直接锁定。3、查看passwd的修改时间，判断是否在不知情的情况下被添加用户 ls -l /etc/passwd。
linux查询目录文件基础操作
qq_43826626的博客
08-22 257
ls -l。
centos7搭建haproxy web集群
04-06
b'centos7\xe6\x90\xad\xe5\xbb\xbahaproxy web\xe9\x9b\x86\xe7\xbe\xa4'意为“如何在CentOS 7上安装HAProxy Web集群？”。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值