超越自我——带你学haproxy算法一遍过！！！

已于 2024-08-12 01:02:57 修改
阅读量1k 收藏 10
点赞数 22
文章标签： 算法 运维 服务器
于 2024-08-11 21:52:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq3178535571/article/details/141110182
版权

文章目录

前言

本文相关连接如下：

介绍

HAProxy算法是为了实现高可用性、‌负载均衡以及基于TCP和HTTP的应用程序代理而设计的。‌HAProxy是一个使用C语言编写的自由及开放源代码软件，‌特别适用于那些负载特大的web站点，‌这些站点通常需要会话保持或七层处理。‌
HAProxy实现了一种事件驱动、‌单一进程模型，‌这种模型支持非常大的并发连接数。‌

  • HAProxyi通过固定参数balance指明对后端服务器的调度算法
  • balance参数可以配置在Elisten或backendi选项中。
  • HAProxy的调度算法分为静态和动态调度算法
  • 有些算法可以根据参数在静态和动态算法中相互转换。

静态算法

静态算法：按照事先定义好的规则轮询公平调度，不关心后端服务器的当前负载、连接数和响应速度等，且无法实时修改权重（只能为0和1，不支持其它值），只能靠重启HAProxy生效。

static-rr

static-rr 基于权重的轮询调度

  • 不支持运行时利用s0ct进行权重的动态调整（只支持0和1，不支持其它值）
  • 不支持端服务器慢启动
  • 其后端主机数量没有限制，相当于LVS中的wrr

慢启动是指在服务器刚刚启动上不会把他所应该承担的访问压力全部给它，而是先给一部分，当没问题后在给一部分

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
[root@haproxy ~]# systemctl restart haproxy.service

在这里插入图片描述
不可更改体现：
在这里插入图片描述
验证：

[root@haproxy ~]# for i in {1..10}; do curl 172.25.254.100; done

在这里插入图片描述

first

  • 根据服务器在列表中的位置，自上而下进行调度
  • 其只会当第一台服务器的连接数达到上限，新请求才会分配给下一台服务
  • 其会忽略服务器的权重设置
  • 不支持用soct进行动态修改权重，可以设置0和1，可以设置其它值但无效

配置：

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
[root@haproxy ~]# systemctl restart haproxy.service

在这里插入图片描述

如果需要看效果，需要在两台主机上进行死循环，并设置最大连接数为1、

输出效果：
在这里插入图片描述

[root@haproxy ~]# echo "set weight webcluster/web1 2" | socat stdio /var/lib/haproxy/stats

[root@haproxy ~]# for i in {1..10}; do curl 172.25.254.100; done

更改效果并没有成功，权重优先级低
在这里插入图片描述

动态算法

  • 基于后端服务器状态进行调度适当调整，
  • 新请求将优先调度至当前负载较低的服务器
  • 权重可以在haproxyi运行时动态调整无需重启

roundrobin

打在负载小的主机上,先看负载，再看权重

  1. 基于权重的轮询动态调度算法
  2. 支持权重的运行时调整，不同于引vs中的r轮训模式
  3. HAProxy中的roundrobin支持慢启动（新加的服务器会逐渐增加转发数）
  4. 其每个后端backend中最多支持4095个server
  5. 支持对real server权重动态调整
  6. roundrobin为默认调度算法，此算法使用广泛

配置：

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
[root@haproxy ~]# systemctl restart haproxy.service

在这里插入图片描述

验证：
在这里插入图片描述

[root@haproxy ~]# echo "set weight webcluster/web1 2" | socat stdio /var/lib/haproxy/stats

[root@haproxy ~]# for i in {1..10}; do curl 172.25.254.100; done

可以修改权重，但是权重都是2的情况下，因为负载优先，所以两个主机轮流上线
在这里插入图片描述

leastconn

  • leastconn加权的最少连接的动态
  • 支持权重的运行时调整和慢启动，即：根据当前连接最少的后端服务器而非权重进行优先调度（新客户端连接)
  • 比较适合长连接的场景使用，比如：MySQL等场景。

打在链接数少的主机上，先看链接数，后看权重

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
[root@haproxy ~]# systemctl restart haproxy.service

注意：此处web2的权重，也就是20服务器权重为2，理应访问两次20主机，一次10主机，但因为算法是leastconn，因此效果变成了连接数优先，10和20主机轮番上线
在这里插入图片描述
在这里插入图片描述
连接与权重验证：

[root@haproxy ~]# echo "set weight webcluster/web1 3" | socat stdio /var/lib/haproxy/stats

[root@haproxy ~]# for i in {1..10}; do curl 172.25.254.100; done

即使权重修改成功，但是连接优先级更高
在这里插入图片描述

其他算法

其它算法即可作为静态算法，又可以通过选项成为动态算法

source算法

源地址hash,基于用户源地址hash并将请求转发到后端服务器，后续同一个源地址请求将被转发至同一个后端wb服务器。

此方式当后端服务器数据量发生变化时，会导致很多用户的请求转发至新的后端服务器，很多会话将丢失，默认为静态方式，

如果访问客户端时一个家庭，那么所有的家庭的访问流量都会被定向到一台服务器，这时source算法的缺陷

缺点：同一家公司主机出去的IP是同一个，同一家访问会导致负载超和

解决方法：取模法和一致性hash

  • 可以通过hash-type支持的选项更改这个算法，一般是在不插入Cookiel的TCP模式下使用，也可给拒绝会话cookie的客户提供最好的会话粘性，适用于session会话保持但不支持cookie和缓存的场景源地址有两种转发客户端请求到后端服务器的服务器选取计算方式，分别是取模法和一致性hash
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg 
[root@haproxy ~]# systemctl restart haproxy.service 
[root@haproxy ~]# for i in {1..10}; do curl 172.25.254.100; done

在这里插入图片描述
表现为流量只流向同一台服务器：

在这里插入图片描述

map-base 取模法

  • map-based:取模法，对source地址进行hash计算，再基于服务器总权重的取模，最终结果决定将此请求转发至对应的后端服务器。
  • 此方法是静态的，即不支持在线调整权重，不支持慢启动，可实现对后端服务器均衡调度
  • 缺点是当服务器的总权重发生变化时，即有服务器上线或下线，都会因总权重发生变化而导致调度结果整体改变，hash-type指定的默认值为此算法
  1. 所谓取模运算，就是计算两个数相除之后的余数，10%7=3,7%4=3
  2. map-based算法：基于权重取模，hash(source_.ip)%所有后端服务器相加的总权重

在这里插入图片描述

如果权重改变，则has偏移，导致服务器上下线，会导致会话丢失

在这里插入图片描述
配置：

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg 
[root@haproxy ~]# systemctl restart haproxy.service 
[root@haproxy ~]# for i in {1..10}; do curl 172.25.254.100; done

在这里插入图片描述
实际操作验证：

正常访问情况：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

当权重发生改变时，只能修改配置文件，因为不支持在线调整权重
在这里插入图片描述
100主机访问的服务器由原先的20变为10
在这里插入图片描述
10主机由原先的20服务器变为10服务器
在这里插入图片描述
只有20主机访问的还是原先的10服务器
在这里插入图片描述
总结：map-base 取模法当总权重发生改变，将引起会话连接的大面积改变

一致性hash

一致性哈希，当服务器的总权重发生变化时，对调度结果影响是局部的，不会引起大的变动
该hash算法是动态的，支持使用socats等工具进行在线权重调整，支持慢启动

  • 后端服务器哈希环点keyA=hash(后端服务器虚拟ip)%(2^32)
  • 客户机哈希环点keyl=hash(c1ient_ip)%(2A32) 得到的值在[0–4294967295]之间，
  • 将keyA和keyl都放在hash环上，将用户请求调度到离key1最近的keyA对应的后端服务器

hash环流程图：
在这里插入图片描述

  • 得到的IP是0到2^32-1之间

  • 为什么要减1：从0开始，所以要减1

客户端hash链接顺时针旋转，寻找最近的第一个服务器，如果第一个服务器关闭，则继续顺时针寻找下一个最近的服务器

面试：什么叫hash环

  1. hash环是一个0到2^32-1的一个数字被落到一个圆上，这个圆就叫hash环
  • 取模法： 对服务器IP和hash环的总数进行取模，是多少就落到上面

余数不会超过hash环的数量，最多2^32-1

后端服务器在线调度方式图解：
在这里插入图片描述

后端服务器离线调度方式图解：

hash一致性特点：即使权重改变或服务器下线，但是我该到的服务器没问题则还是到哪，不会发生服务器偏移

配置：

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg 
[root@haproxy ~]# systemctl restart haproxy.service 
[root@haproxy ~]# for i in {1..10}; do curl 172.25.254.100; done

在这里插入图片描述
验证：

正常运行下
100主机访问的服务器是20
在这里插入图片描述
10主机访问的服务器是10
在这里插入图片描述
20主机访问的服务器是10
在这里插入图片描述

当权重发生改变时
100主机访问的服务器还是20
在这里插入图片描述
10主机访问的服务器是10
在这里插入图片描述
20主机访问的服务器是10
在这里插入图片描述

当某个服务器下线（此处是10服务器下线），就会寻找下一个主机，原先是谁就还是访问谁，此处博主因为只开了两个服务器，效果并不明显，想效果更明显的小伙伴可以多开几台服务器
在这里插入图片描述

uri

  • 基于对用户请求的URI的左半部分或整个uri做hash,再将hash结果对总权重进行取模后
  • 根据最终结果将请求转发到后端指定服务器
  • 适用于后端是缓存服务器场景
  • 默认是静态算法，也可以通过hash-type指定map-based和consistent,来定义使用取模法还是一致性hash（动态）。此算法基于应用层，所以只支持mode http,不支持mode tcp
# 语法格式
<scheme>://<user>:<password>@<host>:<port>/<path>;<params>?<query>#<frag>
左半部分：/<path>;<params>
整个uri:/<path>;<params>:?<query>#<frag>

scheme:协议http
user:用户
password:密码
host:主机名
port:端口
path:文件路径/index.html

params:向服务器传递的指令，如Search
?代表
params:搜索的字段
frag:片段（在文件里面做一个索引，快速定位你点击的片段）

params例子：
在这里插入图片描述
uri与url图例
在这里插入图片描述

  1. URI = Uniform Resource Identifier 统一资源标志符
  2. URL = Uniform Resource Locator 统一资源定位符，资源的真实位置
  3. URN = Uniform Resource Name 统一资源名称，只指定到资源名称，没有资源的文件

在这里插入图片描述

向服务器添加网页：
在这里插入图片描述
访问的uri不变，访问的地址就不变

在这里插入图片描述

urI_param 取模法

url_param 对用户请求的 url 中的 params 部分中的一个参数 key 对应的 value 值作 hash计算，并由服务器 总权重相除以后派发至某挑出的服务器 ,后端搜索同一个数据会被调度到同一个服务器，多用与电商,通常用于追踪用户，以确保来自同一个用户的请求始终发往同一个real server
如果无没 key ，将按 roundrobin 算法

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
#添加
listen webcluster
    bind *:80
    mode http
    balance url_param name,userid #支持对多个url_param hash
    hash-type consistent
    server web1 172.25.254.10:80  check inter 2 fall 3 rise 5  weight 1
    server web2 172.25.254.20:80  check inter 2 fall 3 rise 5  weight 2

在这里插入图片描述

搜索同一个东西，会调度到同一个服务器上
在这里插入图片描述

hdr

  • 针对用户每个http头部(header)请求中的指定信息做hash，

  • 此处由 name 指定的 http 首部将会被取出并做 hash计算，

  • 然后由服务器总权重取模以后派发至某挑出的服务器，如果无有效值，则会使用默认的轮询调度。

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg 
[root@haproxy ~]# systemctl restart haproxy.service

在这里插入图片描述
验证：
在这里插入图片描述
在这里插入图片描述

总结

静态算法
static-rr--------->tcp/http 不支持动态更改，根据权重的轮询算法，服务器的权重越高，被分配到的请求就越多。
first------------->tcp/http 不支持动态更改,只会当第一台服务器的连接数达到上限，新请求才会分配给下一台服务

动态算法
roundrobin-------->tcp/http 它将清求轮流分配到各服务器上，此算法对于服务器的负载能力是均衡的。
leastconn--------->tcp/http 优先连接数,这是最少连接数算法，它会根据服务器当前的连接数和队列长度来决定是否分配新的连接

以下静态和动态取决于hash_type是否consistent
source------------>tcp/http ,基于清求来源P的算法，它会把来自同IP的请求分配到同一个服务器
Uri--------->http 基于请求的URI进行hash运算，然后根据得到的hash值选择服务器
urI_param--------->http 基于URL参数的算法，可以指定参数名，然后根据参数值的hash值来选择服务器
hdr–------->http 基于HTTP请求头来的算法，可以指定头名，然后根据头值的hash来选择服务器

各算法应用场景

first #使用较少
static-rr #做了session共享的web集群
roundrobin #任务调试，产品测试
leastconn #数据库

本文相关连接如下：

一站式带你深入了解HAProxy

进阶！haproxy高级功能与配置

qq3178535571
关注
Haproxy balance调度算法
bjgaocp的博客
03-10 4400
HAProxy的调度算法有如下8种： roundrobin，表示简单的轮询 static-rr，表示根据权重， leastconn，表示最少连接者先处理， source，表示根据请求源IP， uri，表示根据请求的URI； url_param，表示根据请求的URl参数’balance url_param’ requires an URL parameter name hdr(name)，表示根据...
HAProxy的调度算法
staight的博客
04-02 5729
前言 HAProxy作为一个负载均衡器,自然会有许多对后端服务器的调度算法来供我们使用,那么接下来我们就来对这些调度算法进行一一介绍 主体 HAProxy可以通过修改balance字段的值从而修改其调度算法,balance字段应用于”default”,”frontend”,”backend”字段中 balance &lt; algorithm&gt; [ &lt; argument...
HAProxy调度算法
qq_36801585的博客
04-01 839
文章目录HAProxy调度算法一、静态算法1.1：static-rr：1.2：first二、动态算法2.1：roundrobin2.2：leastconn三、其他算法3.1：source3.1.1：map-base取模法3.1.2：一致性hash3.2：uri3.2.1：uri 取模法配置示例3.2.2：uri 一致性hash配置示例3.3：url_param3.3.1：url_param取模法配...
haproxy配置示例和需要考虑的问题
li123128的博客
03-10 887
haproxy是一个非常优秀的负载均衡工具，它的特性非常丰富，功能也非常非常强大，要想好好使用它，将它的功能和性能挖掘出来，多多阅读官方手册是必不可少的。本文提供一个简单的配置示例，后面将分别开文章详细解释它的配置文件、cookie会话保持、stick table的功能、haproxy主主模型的复制(replication)、抵御攻击等等。1. 配置haproxy需要考虑的事情尽管haproxy大...
一站式带你深入了解HAProxy
qq3178535571的博客
08-11 688
负载均衡出现的背景:由于业务访问量和数据流量的日益增加，‌传统单一服务器已经无法承担，‌而升级单一服务器硬件会带来成本的增加、‌资源的浪费、‌以及扩展能力不足等问题。‌为了解决这些问题，‌更有效的方式是将单一服务器的计算任务分担到多台低配置服务器上进行处理，‌这就产生了负载均衡设备。‌用户将业务请求发送到负载均衡设备，‌再由负载均衡设备按需分发到后端服务器，‌在基本不改变网络架构的基础上，‌扩展了网络设备接入能力。
进阶！haproxy高级功能与配置
qq3178535571的博客
08-12 1219
本文主要介绍HAProxy高级配置及使用案例修改自定义日志的内容修改haproxy自定日志路径验证前需关闭两台服务器的服务。
架构师书单
万里长江横渡，极目楚天舒
08-15 4757
一、大型网站架构系列 第一本：《大型网站技术架构：核心原理与案例分析》--李智慧 第二本：《大型网站系统与Java中间件实践》 第三本：《大型分布式网站架构设计与实践》--陈康贤。 第四本：《Web信息架构——设计大型网站》 第五本：《高性能网站建设》，对web前端架构做了非常好的讲解。 第六本：《实用负载均衡技术：网站性能优化攻略》，本书较详细的介绍了负载均衡，缓存代理等知识，对系统
keepalived + 反向代理 + http服务构建实用性Web站点
weixin_34343000的博客
05-27 1120
keepalived在前面的博客中，已经介绍过了，这里就不在阐述了。那什么是反向代理呢，反向代理又有什么用呢？既然有反向代理，那就肯定有正向代理，先说下正向代理。在我们上网的时候，有时候我们不是直接访问某个网站，而是通过某个代理来访问某个网站，然后，再由该代理将结果返回给我们。这里，这个代理就是正向代理。也就是说在客户端使用的代理叫做正向代理。而反向代理正好相反。在服务器端，...
22 个必知编程语言之「Kotlin」
程序员光剑
09-01 9365
Kotlin 是一个用于现代多平台应用的静态编程语言，由 JetBrains 开发。Kotlin 可以编译成 Java 字节码，也可以编译成 JavaScript，方便在没有 JVM 的...
实验报告——实验8-haproxy.docx
12-24
**实验报告——HAProxy高性能集群搭建与配置** **一、实验背景及目的** HAProxy是一款开源的负载均衡器，常用于构建高性能的Web服务集群，它能够有效地分发客户端请求到多个后端服务器，提高系统的可用性和响应...
HAProxy——动静分离
01-09
HAProxy——动静分离1. 在HAProxy端配置动静分离策略2. 在HAProxy端配置http3. 配置server2和server34. 测试 1. 在HAProxy端配置动静分离策略 server1: cd /etc/haproxy/ vim haproxy.cfg 注释 93 #listen westos ...
HAProxy学习.pptx
09-29
1. HAProxy可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上 2. 此模型支持非常大的并发连接数。多进程或多线程模型受内存...
haproxy_exporter：简单的服务器，可抓取HAProxy统计信息并通过HTTP导出以供Prometheus使用
02-04
HAProxy普罗米修斯出口商 这是一个简单的服务器，可刮除HAProxy统计信息并通过HTTP导出以供Prometheus使用。 注意：自HAProxy 2.0.0起，官方资源包括Prometheus导出器模块，该模块可在构建期间通过单个标志内置到二...
算法刷题：300. 最长递增子序列、674. 最长连续递增序列、718. 最长重复子数组、1143. 最长公共子序列
最新发布
qq_61936886的博客
09-12 444
如果text1[i - 1] 与 text2[j - 1]不相同，那就看看text1[0, i - 2]与text2[0, j - 1]的最长公共子序列 和 text1[0, i - 1]与text2[0, j - 2]的最长公共子序列，取最大的。但dp[i][0] 和dp[0][j]要初始值，因为 为了方便递归公式dp[i][j] = dp[i - 1][j - 1] + 1;2.递推公式：当A[i - 1] 和B[j - 1]相等的时候，dp[i][j] = dp[i - 1][j - 1] + 1;
算法知识点——常用输入输出数据的方式
5233的博客
09-12 252
除了换行之外，还会清空缓存区，而清空缓存区这件事情会耗时很久，因此为了提高速度，一般直接：cout << “\n”;2、n组输入输出(n不确定）1、n组输入输出(n确定）3、 复杂的输入输出。
Java数据结构（十）——冒泡排序、快速排序
xiaokuer_的博客
09-11 1138
文章介绍了冒泡排序和快速排序，快速排序的内容包括：划分方式、优化策略以及非递归实现
深度优先算法，广度优先算法，hill climbing，贪心搜索，A*算法，启发式搜索算法是什么，比起一般搜索法算法有什么区别
mimo_mimo的博客
09-10 1165
A算法通过维护一个优先队列（通常是最小堆），并根据启发式函数（如g(n) + h(n)，其中g(n)是从起点到当前点的实际距离，h(n)是从当前点到目标点的估计距离）来评估节点的优先级。它从图的某个顶点V0开始，依次访问V0的各个未被访问过的邻接点，然后从这些邻接点出发，再依次访问它们的未被访问过的邻接点，直到图中所有已被访问过的顶点的邻接点都被访问到。它从当前的节点开始，和周围的邻居节点的值进行比较，如果当前节点不是最大的，就用最高的邻居节点来替换当前节点，从而实现向“山峰”的高处攀爬的目的。
haproxy算法:
12-14
以下是HAProxy中常用的负载均衡算法： 1. 轮询（roundrobin）：默认算法，将请求依次分配给后端服务器，循环进行。 2. 最少连接（leastconn）：将请求分配给当前连接数最少的服务器。 3. IP哈希（source）：根据请求...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值