全网haproxy最强文档

haproxy简介

haproxy是法国开发者 威利塔罗(Willy Tarreau) 在2000年使用C语言开发的一个开源软件
是一款具备高并发(万级以上)、高性能的TCP和HTTP负载均衡器
支持基于cookie的持久性，自动故障切换，支持正则表达式及web状态统计
haproxy主机配置

[root@haproxy ~]# dnf install haproxy -y
#查看相关文件参数
[root@haproxy ~]# rpm -qc haproxy
/etc/haproxy/haproxy.cfg
/etc/logrotate.d/haproxy
/etc/sysconfig/haproxy
#选择要配置的文件
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg

vim vim /etc/haproxy/haproxy.cfg的内容

#frontend webcluster ---设置前端(唯一)
#    bind *.80  ---监听本主机所有80端口
#    mode http ---用七层http服务
#    use_backend webcluster-host ---指定后端
#
#backend webcluster-host ---设定后端
#   balance roundrobin  ---算法规则(rr)
#   server web1 172.25.254.10:80 ---(web服务器地址端口)
#   server web2 172.25.254.20:80 ---(web服务器地址端口)

listen webcluster
    bind *:80
        mode http
	    balance roundrobin
 	    server web1 172.25.254.10:80
        server web2 172.25.254.20:80

[root@haproxy ~]# systemctl start haproxy.service

web服务器配置

[root@webserver1 ~]# yum install nginx -y
[root@webserver1 ~]# echo webserver1-172.25.254.10 >/usr/share/nginx/html/index.html
[root@webserver1 ~]# systemctl enable --now nginx
#webserver2服务器配置同上

测试

haproxy默认有后端检测
例：让web1nginx关闭，在客户机上访问

[root@webserver1 ~]# systemctl stop nginx

用客户机测试

开启web1nginx功能

[root@webserver1 ~]# systemctl enable --now nginx

测试：

配置多进程

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
#在global下配置以下参数
 nbproc 2	#启用多进程
      cpu-map 1 0	#进程与cpu进行绑定，防止cpu抖动造成资源浪费
      cpu-map 2 1
#重启haproxy
[root@haproxy ~]# systemctl restart haproxy
#查看进程
[root@haproxy ~]# pstree -p | grep haproxy
           |-haproxy(3187)-+-haproxy(3190)
           |               -haproxy(3191)

配置多线程

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
#在global下配置以下参数
 nbthread 2
 #重启haproxy
[root@haproxy ~]# systemctl restart haproxy
[root@haproxy ~]# pstree -p | grep haproxy
           |-haproxy(3210)---haproxy(3212)---{haproxy}(3213)
[root@haproxy ~]# cat /proc/3210/status | grep -i threads
Threads:        1
[root@haproxy ~]# cat /proc/3212/status | grep -i threads
Threads:        2
[root@haproxy ~]# cat /proc/3213/status | grep -i threads
Threads:        2

配置日志文件
将日志文件发送到本机/var/log/haproxy.log文件中

[root@haproxy ~]# vim /etc/rsyslog.conf

将此内容取消注释

并配置一下参数

#重启rsyslog
[root@haproxy ~]# systemctl restart rsyslog.service
[root@haproxy ~]# systemctl enable --now rsyslog

测试

server配置

[root@haproxy haproxy]# vim /etc/haproxy/haproxy.cfg
*********省略
listen webcluster
      bind *:80
      mode http
      balance roundrobin
      #redirect prefix http://www.baidu.com/
      server web1 172.25.254.10:80 check inter 2 fall 3 rise 5 weight 2
      server web2 172.25.254.20:80 check inter 2 fall 3 rise 5 weight 1
      #server web_sorry 172.25.254.100:8080 backup
*********省略

check #对指定real进行健康状态检查，如果不加此设置，默认不开启检查，只有check后面没有其它配置也可以启用检查功能

• inter num #健康状态检查间隔，默认2s
• fall num #后端服务器从线上转为线下的检查的连续失效次数，默认3
• rise num #后端服务器从下线恢复上线的检查的连续有效次数，默认2
• weight num #0(状态为蓝色)表示不参与负载均衡，但仍接受持久连接，默认为1，最大256
• backup #将后端服务器标志位备份状态，只有在所有非备份主机不提供服务时提供服务
• disabled #将后端服务器标记为不可用状态，即维护状态，除了持久模式，将不再接受连接，状态为深黄色，优雅下线，不再接受新用户的请求
• redirect prefix http://www.baidu.com/ #将请求临时重定向到其它URL，只适用于http模式
• redir http://www.baidu.com #将请求临时重定向到其它URL，只适用于http模式
• maxconn num #当前后端server的最大并发连接数

haproxy的算法

haproxy通过固定参数balance指明对后端服务器的调度算法
balance参数可以配置在listen或backend选项中
haproxy的调度算法分为静态和动态调度算法
有些算法可以根据参数在静态和动态算法中相互转换

静态算法
静态算法：按照事先定义好的规则轮询公平调度，不关心后端服务器的当前负载、连接数和响应速度等，且无法实时修改权重(只能为0和1，不支持其他值)，只能靠重启haproxy生效。

static–rr:基于权重的轮询调度

• 不支持运行时利用socat进行权重的动态调整(只支持0和1，不支持其它值)
• 不支持端服务器慢启动
  慢启动是指在服务器刚刚启动上不会把他所应该承担的访问压力全部给它，而是先给一部分，当没问题后再给一部分

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
.............省略
listen webcluster
     bind *:80
     mode http
     balance static-rr 
     server web1 172.25.254.10:80 check inter 2 fall 3 rise 5 weight 2
      server web2 172.25.254.20:80 check inter 2 fall 3 rise 5 weight 
..............省略

first

• 根据服务器在列表中的位置，自上而下进行调度
• 其只会当第一台的连接数达到上限，新请求才会分配给下一台服务
• 会忽略服务器的权重设置

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
.............省略
listen webcluster
     bind *:80
     mode http
     balance first 
     server web1 172.25.254.10:80 check inter 2 fall 3 rise 5 weight 2
      server web2 172.25.254.20:80 check inter 2 fall 3 rise 5 weight 
..............省略

动态算法

• 基于后端服务器状态进行调度适当调整
• 新请求将优先调度至当前负载较低的服务器
• 权重可以在haproxy运行时动态调整无需重启

roundrobin

• 基于权重的轮询动态调度算法，
• 支持权重的运行时调整，不同于lvs中的rr轮训模式，
• HAProxy中的roundrobin支持慢启动(新加的服务器会逐渐增加转发数)，
• 其每个后端backend中最多支持4095个real server，
• 支持对real server权重动态调整，
• roundrobin为默认调度算法,此算法使用广泛

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
.............省略
listen webcluster
     bind *:80
     mode http
     balance roudrobin 
     server web1 172.25.254.10:80 check inter 2 fall 3 rise 5 weight 2
      server web2 172.25.254.20:80 check inter 2 fall 3 rise 5 weight 
..............省略

leastconn

• leastconn加权的最少连接的动态
• 支持权重的运行时调整和慢启动，即:根据当前连接最少的后端服务器而非权重进行优先调度(新客户端连接)
• 比较适合长连接的场景使用，比如：MySQL等场景。

source
源地址hash，基于用户源地址hash并将请求转发到后端服务器，后续同一个源地址请求将被转发至同一个后端web服务器。此方式当后端服务器数据量发生变化时，会导致很多用户的请求转发至新的后端服务器，默认为静态方式，但是可以通过hash-type支持的选项更改这个算法一般是在不插入Cookie的TCP模式下使用，也可给拒绝会话cookie的客户提供最好的会话粘性，适用session会话保持但不支持cookie和缓存的场景源地址有两种转发客户端请求到后端服务器的服务器选取计算方式，分别是取模法和一致性hash。

• map-base 取模法(静态)
  取模法，对source地址进行hash计算，再基于服务器总权重的取模，最终结果决定将此请
  求转发至对应的后端服务器。
  此方法是静态的，即不支持在线调整权重，不支持慢启动，可实现对后端服务器均衡调度，缺点是当服务器的总权重发生变化时，即有服务器上线或下线，都会因总权重发生变化而导致调度结果整体改变

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen webcluster
     bind *:80
     balance source
     server web1 172.25.254.10:80  check inter 2 fall 3 rise 5 weight 2
     server web2 172.25.254.20:80  check inter 2 fall 3 rise 5 weight 1
[root@haproxy ~]# systemctl restart haproxy.service
#不支持调整
[root@haproxy haproxy]# echo "set weight webcluster/web1 3" | socat stdio /var/lib/haproxy/stats
Backend is using a static LB algorithm and only accepts weights '0%' and '100%'.

• 一致性hash
  一致性哈希，当服务器的总权重发生变化时，对调度结果影响是局部的，不会引起大的变动hash（o)mod n
  该hash算法是动态的，支持使用 socat等工具进行在线权重调整，支持慢启动

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen webcluster
     bind *:80
     balance source
     hash-type consistent
     server web1 172.25.254.10:80  check inter 2 fall 3 rise 5 weight 2
     server web2 172.25.254.20:80  check inter 2 fall 3 rise 5 weight 1
[root@haproxy ~]# systemctl restart haproxy.service
#支持调整
[root@haproxy haproxy]# echo "set weight webcluster/web1 3" | socat stdio /var/lib/haproxy/stats
[root@haproxy haproxy]# echo "get weight webcluster/web1 3" | socat stdio /var/lib/haproxy/stats
3 (initial 2)

uri
基于对用户请求的URI的左半部分或整个uri做hash，再将hash结果对总权重进行取模后根据最终结果将请求转发到后端指定服务器
适用于后端是缓存服务器场景，默认是静态算法
可以通过hash-type指定map-based和consistent，来定义使用取模法还是一致性hash
注意：此算法基于应用层，所以只支持 mode http ，不支持 mode tcp

https://search.jd.com/Search?keyword=%E5%8F%A3%E7%BA%A2&enc=utf-8&wq=%E5%8F%A3%E7%BA%A2&pvid=91645a99cfd54a84acf7e6ecd3a9040a

<scheme>://<user>:<password>@<host>:<port>/<path>;<params>?<query>#<frag>
左半部分：/<path>;<params>  #params执行的动作
整个uri：/<path>;<params>?<query>#<frag>
--------------------------------------
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen webcluster
     bind *:80
     balance uri
     hash-type consistent
     server web1 172.25.254.10:80  check inter 2 fall 3 rise 5 weight 2
     server web2 172.25.254.20:80  check inter 2 fall 3 rise 5 weight 1
[root@haproxy ~]# systemctl restart haproxy.service

#创造测试环境，webserver2同理
[root@webserver1 html]# echo 172.25.254.10-index1.html > /usr/share/nginx/html/index1.html
[root@webserver1 html]# echo 172.25.254.10-index2.html > /usr/share/nginx/html/index2.html
[root@webserver1 html]# echo 172.25.254.10-index3.html > /usr/share/nginx/html/index3.html

url_param
url_param对用户请求的url中的 params 部分中的一个参数key对应的value值作hash计算，并由服务器
总权重相除以后派发至某挑出的服务器,后端搜索同一个数据会被调度到同一个服务器，多用与电商
通常用于追踪用户，以确保来自同一个用户的请求始终发往同一个real server
如果无没key，将按roundrobin算法

root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen webcluster
     bind *:80
     balance url_param name,userid
     hash-type consistent
     server web1 172.25.254.10:80  check inter 2 fall 3 rise 5 weight 2
     server web2 172.25.254.20:80  check inter 2 fall 3 rise 5 weight 1

hdr
针对用户每个http头部(header)请求中的指定信息做hash，
此处由 name 指定的http首部将会被取出并做hash计算，
然后由服务器总权重取模以后派发至某挑出的服务器，如果无有效值，则会使用默认的轮询调度

root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen webcluster
     bind *:80
     balance hdr(User-Agent)
     hash-type consistent
     server web1 172.25.254.10:80  check inter 2 fall 3 rise 5 weight 2
     server web2 172.25.254.20:80  check inter 2 fall 3 rise 5 weight 1

#测试访问
#-A 伪装
[root@node10 ~]# curl -v 172.25.254.100
[root@node10 ~]# curl -vA "firefox" 172.25.254.100
[root@node10 ~]# curl -vA "sougou" 172.25.254.100

算法总结

#静态
static-rr--------->tcp/http
first------------->tcp/http
#动态
roundrobin-------->tcp/http
leastconn--------->tcp/http
#以下静态和动态取决于

各算法使用场景

first #使用较少
static-rr #做了session共享的web集群
roundrobin
leastconn #数据库
source
#基于客户端公网IP的会话保持
Uri--------------->http #缓存服务器，CDN服务商，蓝汛、百度、阿里云、腾讯
url_param--------->http #可以实现session保持
hdr #基于客户端请求报文头部做下一步处理

haproxy状态页
通过web界面，显示当前HAProxy的运行状态
状态页配置项

stats enable #基于默认的参数启用stats page
stats hide-version #将状态页中haproxy版本隐藏
stats refresh <delay> #设定自动刷新时间间隔，默认不自动刷新
stats uri <prefix> #自定义stats page uri，默认值：/haproxy?stats
stats auth <user>:<passwd> #认证时的账号和密码，可定义多个用户,每行指定一个用户
#默认：no authentication
stats admin { if | unless } <cond> #启用stats page中的管理功

启用状态页

 listen stats:
   mode http
   bind 0.0.0.0:9999
   stats enable
   stats refresh 5
   stats uri /status
   stats auth root:root

测试：

高级功能及配置
基于cookie的会话保持
cookie value：为当前server指定cookie值，实现基于cookie的会话黏性，相对于基于 source 地址hash调度算法对客户端的粒度更精准，但同时也加大了haproxy负载，目前此模式使用较少， 已经被session共享服务器代替
注意：不支持 tcp mode，使用 http mode

选项配置

cookie name [ rewrite | insert | prefix ][ indirect ] [ nocache ][ postonly ] [
preserve ][ httponly ] [ secure ][ domain ]* [ maxidle <idle> ][ maxlife ]
name： #cookie 的 key名称，用于实现持久连接
insert： #插入新的cookie,默认不插入cookie
indirect： #如果客户端已经有cookie,则不会再发送cookie信息
nocache： #当client和hapoxy之间有缓存服务器（如：CDN）时，不允许中间缓存器缓存cookie，
#因为这会导致很多经过同一个CDN的请求都发送到同一台后端服务器

#配置
listen webcluster
     bind *:80
     mode http
     balance roundrobin
     cookie webcookie insert indirect nocache
     server web1 172.25.254.10:80  cookie wl1 check inter 2 fall 3 rise 5 weight 1
     server web2 172.25.254.20:80  cookie wl2 check inter 2 fall 3 rise 5 weight 1

测试

ACL

访问控制列表ACL，Access Control Lists）
是一种基于包过滤的访问控制技术
它可以根据设定的条件对经过服务器传输的数据包进行过滤(条件匹配)即对接收到的报文进行匹配和过滤，基于请求报文头部中的源地址、源端口、目标地址、目标端口、请求方法、URL、文件后缀等信息内容进行匹配并执行进一步操作，比如允许其通过或丢弃。
ACL配置选项

#用acl来定义或声明一个acl
acl <aclname> <criterion> [flags] [operator] [<value>]
acl 名称 匹配规范 匹配模式 具体操作符 操作对象类型

#ACL名称，可以使用大字母A-Z、小写字母a-z、数字0-9、冒号：、点.、中横线和下划线，并且严格区分大小写

#匹配模式(判断条件)
#<scheme>://<user>:<password>@<host>:<port>#/<path>;<params>#?<query>#<frag>
hdr string，提取在一个HTTP请求报文的首部
base string,返回第一个主机头和请求的路径部分的连接，该请求从主机名开始，并在问号之前结束,对虚拟主机有用
path string提取请求的URL路径，该路径从第一个斜杠开始，并在问号之前结束（无主机部分）
url string提取请求中的整个URL。
dst #目标IP
dst_port #目标PORT
src #源IP
src_port #源PORT
#示例：
hdr(<string>) 用于测试请求头部首部指定内容
hdr_dom(host) 请求的host名称，如 www.timinglee.org
hdr_beg(host) 请求的host开头，如 www. img. video. download. ftp.
hdr_end(host) 请求的host结尾，如 .com .net .cn
acl bad_agent hdr_sub(User-Agent) -i curl wget
http-request deny if bad_agent
acl invalid_src src 10.0.0.7 192.168.1.0/24
acl invalid_src src 172.16.0.0/24
acl invalid_port src_port 0:1023

#匹配模式
-i 不区分大小写
-m 使用指定的正则表达式匹配方法
-n 不做DNS解析
-u 禁止acl重名，否则多个同名ACL匹配或关系

#操作符
整数比较：eq、ge、gt、le、lt
字符比较：
- exact match (-m str) :字符串必须完全匹配模式
- substring match (-m sub) :在提取的字符串中查找模式，如果其中任何一个被发现，ACL将匹配
- prefix match (-m beg) :在提取的字符串首部中查找模式，如果其中任何一个被发现，ACL将匹配
- suffix match (-m end) :将模式与提取字符串的尾部进行比较，如果其中任何一个匹配，则ACL进行
匹配
- subdir match (-m dir) :查看提取出来的用斜线分隔(""/")的字符串，如其中任一个匹配，则ACL
进行匹配
- domain match (-m dom) :查找提取的用点（“."）分隔字符串，如果其中任何一个匹配，则ACL进行
匹配

#value的类型
- Boolean #布尔值
- integer or integer range #整数或整数范围，比如用于匹配端口范围
- IP address / network #IP地址或IP范围, 192.168.0.1 ,192.168.0.1/24
- string--> www.timinglee.org
exact #精确比较
substring #子串
suffix #后缀比较
prefix #前缀比较
subdir #路径， /wp-includes/js/jquery/jquery.js
domain #域名，www.timinglee.org
- regular expression #正则表达式
- hex block #16进制

多个ACL组合调用

与：隐式（默认）使用
或：使用“or" 或 “||"表示
否定：使用 "!" 表示

#示例：
if valid_src valid_port #与关系，ACL中A和B都要满足为true，默认为与
if invalid_src || invalid_port #或，ACL中A或者B满足一个为true
if ! invalid_src #非，取反，不满足ACL才为true

自定义HAProxy 错误界面
对指定的报错进行重定向，进行优雅的显示错误页面

• errorfile
• errorloc

#haproxy默认使用的错误错误页面
[root@haproxy ~]# rpm -ql haproxy | grep  http
/usr/share/doc/haproxy/design-thoughts/http2.txt
/usr/share/doc/haproxy/design-thoughts/http_load_time.url
/usr/share/doc/haproxy/internals/http-cookies.txt
/usr/share/doc/haproxy/internals/http-docs.txt
/usr/share/doc/haproxy/internals/http-parsing.txt
/usr/share/doc/haproxy/option-http_proxy.cfg
/usr/share/haproxy/400.http
/usr/share/haproxy/403.http
/usr/share/haproxy/408.http
/usr/share/haproxy/500.http
/usr/share/haproxy/502.http
/usr/share/haproxy/503.http
/usr/share/haproxy/504.http

基于自定义的错误页面文件

#自定义错误页
errorfile <code> <file>
<code> #HTTP status code.支持200, 400, 403, 405, 408, 425, 429, 500, 502，503,504
<file> #包含完整HTTP响应头的错误页文件的绝对路径。 建议后缀".http"，以和一般的html文件相区分
#示例：
errorfile 503 /haproxy/errorpages/503page.http

例：

haproxy ~]# vim /etc/haproxy/haproxy.cfg
...上面内容省略...
defaults
mode http
...内容省略...
timeout client 1m
timeout server 1m
timeout http-keep-alive 10s
timeout check 10s
maxconn 1000000
errorfile 503 /haproxy/errorpages/503page.http
[root@haproxy ~]# mkdir /haproxy/errorpages/ -p
[root@haproxy ~]# cp /usr/share/haproxy/503.http /haproxy/errorpages/503page.http
[root@haproxy ~]# vim /haproxy/errorpages/503page.http
HTTP/1.0 503 Service Unavailable
Cache-Control: no-cache
Connection: close
Content-Type: text/html;charset=UTF-8
<html><body><h1>什么动物生气最安静</h1>
大猩猩！！
</body></html>

测试：

关闭后端的RS主机
然后用浏览器去访问172.25.254.100

基于http重定向错误页面

#错误页面重定向
errorloc <code> <url>
#相当于errorloc302 <code> <url>，利用302重定向至指URL
#示例：
errorloc 503 https://www.baidu.com

HAProxy 四层负载

MySQL
Redis
Memcache
RabbitMQ

示例
注意：如果使用frontend和backend，一定在 frontend 和 backend 段中都指定mode tcp

listen mysql-port
bind 172.25.254.100:6379
mode tcp
balance leastconn
server server1 172.25.254.10:3306 check
server server2 172.25.254.20:3306 check backup

haproxy ~]# vim /etc/haproxy/haproxy.cfg
...上面内容省略...
listen mysql_port
bind :3306
mode tcp
balance leastconn
server mysql1 172.25.254.10:3306 check
server mysql2 172.25.254.20:3306 check
#或者使用frontend和backend实现
haproxy ~]# vim /etc/haproxy/haproxy.cfg
...上面内容省略...
frontend mysql_port
bind :3306
mode tcp
use_backend mysql_rs
backend mysql_rs
mode tcp
balance leastconn
server mysql1 172.25.254.10:3306 check
server mysql2 172.25.254.20:3306 check
haproxy ~]# systemctl restart haproxy.service
#在后端服务器安装和配置mariadb服务
rs1 ~]# yum install mariadb-server -y
rs2 ~]# yum install mariadb-server -y
rs1 ~]# vim /etc/my.cnf
[mysqld]
server-id=1 #在另一台主机为
rs2 ~]# vim /etc/my.cnf
[mysqld]
server-id=2 #在另一台主机为
rs1 ~]# systemctl start mariadb
rs2 ~]# systemctl start mariadb
rs1 ~]# mysql -e "grant all on *.* to lee@'%' identified by 'lee';"
rs2 ~]# mysql -e "grant all on *.* to lee@'%' identified by 'lee';"
#测试
[root@haproxy ~]# mysql -ulee -plee -h 172.25.254.100
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 10
Server version: 10.5.16-MariaDB MariaDB Server

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> select @@server_id;
+-------------+
| @@server_id |
+-------------+
|           2 |
+-------------+
[root@webserver1 ~]# mysql -ulee -plee -h 172.25.254.100
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 11
Server version: 10.5.16-MariaDB MariaDB Server

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> select @@server_id;
+-------------+
| @@server_id |
+-------------+
|           1 |
+-------------+