一.常见的web集群调度器
1、目前常见的web集群调度器分为软件和硬件
2、软件通常使用开源的LVS、Haproxy、Nginx
LVS 性能最好,但搭建复杂。Nginx并发量,性能低于Haproxy
3、硬件一般使用比较多的是F5,也有很多人使用国内的一些产品,如梭子鱼、绿盟等
二、Haproxy应用分析
1、LVS在企业应用中抗负载能力很强,但存在不足
• LVS不支持正则处理,不能实现动静分离
• 对于大型网站,LVS的实施配置复杂,维护成本相对较高
2、Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理软件
• 适用于负载大的web站点
• 运行在硬件上可支持数以万计的并发连接的连接请求
三、Haproxy调度算法原理
Haproxy 支持多种调度算法,最常用的有三种
1、RR(Round Robin)
RR算法是最简单最常用的一种算法,即轮询调度
例如:
• 有三个节点A、B、C
• 第一个用户访问会被指派到节点A
• 第二个用户访问会被指派到节点B
• 第三个用户访问会被指派到节点C
• 第四个用户访问会被指派到节点A,轮询分配访问请求实现负载均衡效果
2、LC(Least Connections)
最小连接数算法,根据后端的节点连接数大小动态分配前端请求
例如:
• 有三个节点A、B、C,各节点的连接数分别为A:4、B:5、 C:6
• 第一个用户连接请求,会被指派到A上,连接数变为A:5、B:5、 C:6
• 第二个用户请求会继续分配到A上,连接数变为A:6、B:5、 C:6; 再有新的请求会分配给B,每次将新的请求指派给连接数最小的客户端
• 由于实际情况下A、B、C的连接数会动态释放,很难会出现一样连接数的情况
• 此算法相比较rr算法有很大改进,是目前用到比较多的一种算法
3、SH(Source Hashing)
基于来源访问调度算法,用于一些有Session会记录在服务器端的场景,可以基于来源的IP、Cookie等做集群调度
例如:
• 有三个节点A、B、C,第一个用户第一次访问被指派到了A,第二个用户第一次访问被指派到了B
• 当第一个用户第二次访问时会被继续指派到A,第二个用户第二次访问时依旧会被指派到B,只要负载均衡调度器不重启,第一个用户访问都会被指派到A,第二个用户访问都会被指派到B,实现集群的调度
• 此调度算法好处是实现会话保持,但某些IP访问量非常大时会引|起负载不均衡,部分节点访问量超大,影响业务使用
四、Haproxy介绍
1、HAProxy是什么?
是一个使用C语言编写的自由及开放源代码软件,其提供高可用性、负载均衡,以及基于TCP和HTTP的应用程序代理
HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理
HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中,同时可以保护你的web服务器不被暴露到网络上
HAProxy实现了一种事件驱动,单一进程模型,此模型支持非常大的并发连接数。多进程或多线程模型受内存限制、系统调度器限制以及无处不在的锁限制,很少能处理数千并发连接
事件驱动模型因为在有更好的资源和时间管理的用户空间(User-Space)实现所有这些任务,所以没有这些问题。此模型的弊端是,在多核系统上,这些程序通常扩展性较差。这就是为什么他们必须进行优化以使每个CPU时间片(Cycle)做更多的工作
包括 GitHub、Bitbucket、StackOverflow、Reddit、Tumblr、Twitter和 Tuenti在内的知名网站,及亚马逊网络服务系统都使用了HAProxy
2、 Haproxy的特性
可靠性和稳定性非常好,可以与硬件级的F5负载均衡设备相媲美
最高可以同时维护40000-50000个并发连接,单位时间内处理的最大请求数为20000个,最大处理能力可达10Git/s
支持多达8种负载均衡算法,同时也支持会话保持
支持虚机主机功能,从而实现web负载均衡更加灵活
支持连接拒绝、全透明代理等独特的功能
拥有强大的ACL支持,用于访问控制
其独特的弹性二叉树数据结构,使数据结构的复杂性上升到了0(1),即数据的查寻速度不会随着数据条目的增加而速度有所下降
支持客户端的keepalive功能,减少客户端与haproxy的多次三次握手导致资源浪费,让多个请求在一个tcp连接中完成
支持TCP加速,零复制功能,类似于mmap机制
支持响应池 (response buffering)
支持RDP协议
基于源的粘性,类似nginx的ip hash功能,把来自同一客户端的请求在一定时间内始终调度到上游的同一服务器
更好统计数据接口,其web接口显示后端集群中各个服务器的接收、发送、拒绝、错误等数据的统计信息
详细的健康状态检测,web接口中有关于对上游服务器的健康检测状态, 并提供了一定的管理功能
基于流量的健康评估机制
基于http认证
基于命令行的管理接口
日志分析器,可对日志进行分析
3、负载均衡策略
HAProxy负载均衡策略非常多,常见的有如下8种∶
roundrobin∶表示简单的轮询
static-rr∶表示根据权重
leastconn∶ 表示最少连接者先处理
source∶ 表示根据请求的源IP,类似Nginx的IP hash机制
ri∶表示根据请求的URI
rl_param∶表示根据HTTP请求头来锁定每 一 次HTrTP请求
rdp-cookie (name)∶表示根据据cookie (name)来锁定并哈希每一次TCP请求
4、 LVS、Nainx、HAproxy的区别
LVS基于Linux操作系统实现软负载均衡,而HAProxy和Nginx是基于第三方应用实现的软负载均衡
LVS是可实现4层的IP负载均衡技术,无法实现基于目录、URL的转发。而HAProxy和Nainx都可以实现4层和7层技术,HAProxy可提供TCP和HrTP应用的负载均衡综合解决方案
LVS因为工作在ISO模型的第四层,其状态监测功能单一