haproxy七层代理知识点以及各种配置

一.为何运用haproxy

     当后端主机有一个出现问题了的时候，我们需要访问的流量全部打到正常工作的后端主机，所以我们需要后端检测，lvs没有后端检测，所以就需要用到haproxy

二、什么是负载均衡

      负载均衡：Load Balance，简称LB，是一种服务或基于硬件设备等实现的高可用反向代理技术，负载均衡将特定的业务(web服务、网络流量等)分担给指定的一个或多个后端特定的服务器或设备，从而提高了公司业务的并发处理能力、保证了业务的高可用性、方便了业务后期的水平动态扩展。

1.Web服务器的动态水平扩展-->对用户无感知

2.增加业务并发访问及处理能力-->解决单服务器瓶颈问题

3.节约公网IP地址-->降低IT支出成本

4.隐藏内部服务器IP-->提高内部服务器安全性

5.配置简单-->固定格式的配置文件

6.功能丰富-->支持四层和七层，支持动态下线主机

7.性能较强-->并发数万甚至数十万

2.1负载均衡类型
2.1.1硬件
2.1.2四层负载均衡

1.通过IP+port决定负载均衡的去向

2.对流量请求进行NAT处理，转发到后台服务

3.记录tcp udp流量分别是由哪台服务器处理，后续改请求连接的流量都通过该服务器处理

4.支持四层的软件

lvs：重量级四层均衡负载均衡器

nginx：轻量级四层负载均衡器，可缓存（nginx四层是通过upstream模块）

Haproxy：模拟四层转发

2.1.3七层负载均衡

1.通过虚拟url或主机ip进行流量识别，根据应用层信息进行解析，决定是否需要进行负载均衡

2.代理后台服务器与客户端进行连接，如nginx可代理前后端，与前端客户端TCP连接，与后端服务器建立TCP连接

3.支持七层代理的软件

nginx：基于http协议（nginx七层是通过proxy_pass）

Haproxy：七层代理，会话保持，标记，路径转移等

三、haproxy的安装及服务信息

安装软件包
[root@haproxy ~]# dnf install haproxy -y

3.1 示例的环境部署：
功能    IP
haproxy    172.25.254.100
RS1    172.25.254.10
RS2    172.25.254.20
3.2 haproxy的基本配置信息
查询配置文件
rpm -qc haproxy

[root@haproxy ~]# rpm -qc haproxy 
/etc/haproxy/haproxy.cfg  ---- 配置文件
/etc/logrotate.d/haproxy   ---- 记录日志的文件
/etc/sysconfig/haproxy  --- 记录haproxy本身属性的文件
[root@haproxy ~]# 

HAProxy 的配置文件haproxy.cfg由两大部分组成，分别是：

global：全局配置段

进程及安全配置相关的参数

性能调整相关参数

Debug参数

proxies：代理配置段

defaults：为frontend, backend, listen提供默认配置

frontend：前端，相当于nginx中的server {}

backend：后端，相当于nginx中的upstream {}

listen：同时拥有前端和后端配置,配置简单,生产推荐使用

haproxy的基本部署方法及负载均衡的实现

3.2.1 global 配置参数介绍
参数    类型    作用
chroot    全局    锁定运行目录
deamon    全局    以守护进程运行
user, group, uid, gid    全局    运行haproxy的用户身份
stats socket    全局    套接字文件
nbproc N    全局    开启的haproxy worker 进程数，默认进程数是一个
nbthread 1 （和nbproc互斥）    全局    指定每个haproxy进程开启的线程数，默认为每个进程一个线程
cpu-map 1 0    全局    绑定haproxy worker 进程至指定CPU，将第1个work进程绑绑定至0号CPU
cpu-map 2 1    全局    绑定至0号CPU绑定haproxy worker 进程至指定CPU，将第2个work进程绑定至1号CPU
maxconn N    全局    每个haproxy进程的最大并发连接数
maxsslconn N    全局    每个haproxy进程ssl最大连接数,用于haproxy配置了证书的
maxconnrate N    全局    场景下每个进程每秒创建的最大连接数量
spread-checks N    全局    后端server状态check随机提前或延迟百分比时间，建议2-5(20%-50%)之间，默认值0
pidfile    全局    指定pid文件路径
log 127.0.0.1 local2 info    全局    定义全局的syslog服务器；日志服务器需要开启UDP协议，
3.2.2 全局参数配置及日志分离
设置多进程：
vim/etc/haproxy/haproxy.cfg

    nbproc 2
    cpu-map 1 0  
    cpu-map 2 1  

查看多进程信息:
[root@haproxy ~]# pstree -p | grep haproxy
           |-haproxy(33767)-+-haproxy(33769)
           |                `-haproxy(33770)
[root@haproxy ~]# 

设置多线程：

vim/etc/haproxy/haproxy.cfg

查看多线程：
[root@haproxy ~]# systemctl restart haproxy.service 
[root@haproxy ~]# pstree -p | grep haproxy
           |-haproxy(33829)---haproxy(33831)---{haproxy}(33832)
[root@haproxy ~]# cat /proc/33831/status | grep -i thread
Threads:    2
Speculation_Store_Bypass:    thread vulnerable
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg 

定向到haproxy的日志
vim /etc/rsyslog.conf

local2.*            /var/log/haproxy.log  

3.3.3 proxies配置
3.2.3.1 proxies配置参数介绍
参数    类型    作用
defaults    proxies    默认配置项，针对以下的frontend、backend和listen生效，可以多个name也可以没有name
frontend    proxies    前端servername，类似于Nginx的一个虚拟主机 server和LVS服务集
backend    proxies    后端服务器组，等于nginx的upstream和LVS中的RS服务器
listen    proxies    将frontend和backend合并在一起配置，相对于frontend和backend配置更简洁，生产常用

defaults参数说明

frontend 参数：
示例：
frontend webcluster
    bind *:80   #----所有80端口都开启
    mode http
    use_backend webcluster-host         #----使用什么后端 

backend 参数：
定义一组后端服务器，backend服务器将被frontend进行调用。
注意: backend 的名称必须唯一,并且必须在listen或frontend中事先定义才可以使用,否则服务无法启动

mode http|tcp #指定负载协议类型,和对应的frontend必须一致
option #配置选项
server #定义后端real server,必须指定IP和端口

server参数：

check #对指定real进行健康状态检查，如果不加此设置，默认不开启检查,只有check后面没有其它配置也可以启用检查功能
      #默认对相应的后端服务器IP和端口,利用TCP连接进行周期性健康性检查,注意必须指定端口才能实现健康性检查

addr <IP> #可指定的健康状态监测IP，可以是专门的数据网段，减少业务网络的流量
port <num> #指定的健康状态监测端口
inter <num> #健康状态检查间隔时间，默认2000 ms
fall <num> #后端服务器从线上转为线下的检查的连续失效次数，默认为3

示例：
backend webcluster-host
    balance roundrobin
    server web1 172.25.254.10:80
    server web2 172.25.254.20:80

测试效果：

3.3socat工具
对服务器动态权重和其它状态可以利用socat工具进行调整，socat时LInux下的一个多功能的网络工具，名字来由 socat cat 相当于netcat的增强版。socat主要特点是在两个数据流之间建立双向通道，且支持众多协议和链接方式，如IP、TCP、UDP、ipv6、socket文件等

3.3.1利用socat对服务器动态权重调整
 stats socket /var/lib/haproxy/stats   //socket 套接字，定义到/var/lib/haproxy/stats文件里面，最开始记录状态，默认情况下，只能查看不能更改
 stats socket /var/lib/haproxy/stats mode 600 level admin   //对其提权， mode 600-- 权限为600 level admin---可以通过stats控制haproxy里面的配置，如果不加就是普通用户，加了就相当于管理员
[root@haproxy ~]# ll /var/lib/haproxy/stats 
srw------- 1 root root 0 Aug  9 22:37 /var/lib/haproxy/stats
 
 
[root@haproxy ~]# yum install socat -y
[root@haproxy ~]# echo "show info" | socat stdio /var/lib/haproxy/stats  ///查看haproxy的状态 
[root@haproxy ~]# echo "show servers state" | socat stdio /var/lib/haproxy/stats   //查看server的状态
[root@haproxy ~]# echo get weight webcluster/webserver1 | socat stdio /var/lib/haproxy/stats    //查看看权重
2 (initial 2)    //当前权重为2，配置文件里面权重为2，以当前为准
[root@haproxy ~]# echo "set weight webcluster/webserver1  1" | socat stdio /var/lib/haproxy/stats   //更改权重
[root@haproxy ~]# echo get weight webcluster/webserver1 | socat stdio /var/lib/haproxy/stats 
1 (initial 2)  //当前权重1，配置文件权重2
[root@haproxy ~]# echo "disable server webcluster/webserver2" | socat stdio /var/lib/haproxy/stats   //指定server下线
[root@haproxy ~]# echo "enable server webcluster/webserver2" | socat stdio /var/lib/haproxy/stats  //指定server上线

3.3.2针对多进程处理方法

如果开启多进程那么我们在对进程的sock文件进行操作时其对进程的操作是随机的

如果需要指定操作进程那么需要用多socat文件来完成

四、haproxy的算法
HAProxy通过固定参数 balance 指明对后端服务器的调度算法

balance参数可以配置在listen或backend选项中。

HAProxy的调度算法分为静态和动态调度算法

有些算法可以根据参数在静态和动态算法中相互转换。

四、haproxy的算法

• HAProxy通过固定参数 balance 指明对后端服务器的调度算法

• balance参数可以配置在listen或backend选项中。

• HAProxy的调度算法分为静态和动态调度算法

• 有些算法可以根据参数在静态和动态算法中相互转换。

4.1 静态算法
静态算法：按照事先定义好的规则轮询公平调度，不关心后端服务器的当前负载、连接数和响应速度等，且无法实时修改权重(只能为0和1,不支持其它值)，只能靠重启HAProxy生效。

有 static-rr基于权重的轮询调度和first

4.1.1 static-rr
不支持运行时利用socat进行权重的动态调整(只支持0和1,不支持其它值)

不支持端服务器慢启动

其后端主机数量没有限制，相当于LVS中的 wrr

慢启动是指在服务器刚刚启动上不会把他所应该承担的访问压力全部给它，而是先给一部分，当没问题后在给一部分

4.1.2 first
根据服务器在列表中的位置，自上而下进行调度

其只会当第一台服务器的连接数达到上限，新请求才会分配给下一台服务

其会忽略服务器的权重设置

不支持用socat进行动态修改权重,可以设置0和1,可以设置其它值但无效

4.2 动态算法  
基于后端服务器状态进行调度适当调整，

新请求将优先调度至当前负载较低的服务器

权重可以在haproxy运行时动态调整无需重启

有两种：roundrobin     leastconn  

4.2.1 roundrobin动态算法
基于权重的轮询动态调度算法，

支持权重的运行时调整，不同于lvs中的rr轮训模式，

HAProxy中的roundrobin支持慢启动(新加的服务器会逐渐增加转发数)，

其每个后端backend中最多支持4095个real server，

支持对real server权重动态调整，

roundrobin为默认调度算法,此算法使用广泛

4.2.1 roundrobin动态算法
基于权重的轮询动态调度算法，

支持权重的运行时调整，不同于lvs中的rr轮训模式，

HAProxy中的roundrobin支持慢启动(新加的服务器会逐渐增加转发数)，

其每个后端backend中最多支持4095个real server，

支持对real server权重动态调整，

roundrobin为默认调度算法,此算法使用广泛

例：

vim/etc/haproxy/haproxy.cfg
 
listen webcluster
    bind *:80
    mode http
    balance roundrobin    ---- 动态算法
    server web1 172.25.254.10:80 check inter 2 fall 3 rise 5 weight 2
    server web2 172.25.254.20:80 check inter 2 fall 3 rise 5 weight 1

4.3 其他算法
又可以做为静态算法，又可以通过选项成为动态算法

4.3.1 source
        源地址hash，基于用户源地址hash并将请求转发到后端服务器，后续同一个源地址请求将被转发至同一个后端web服务器。此方式当后端服务器数据量发生变化时，会导致很多用户的请求转发至新的后端服务器，默认为静态方式，但是可以通过hash-type支持的选项更改这个算法一般是在不插入Cookie的TCP模式下使用，也可给拒绝会话cookie的客户提供最好的会话粘性，适用于session会话保持但不支持cookie和缓存的场景源地址有两种转发客户端请求到后端服务器的服务器选取计算方式，分别是取模法和一致性hash

 4.3.1.1 map-base取模法
map-based：取模法，对source地址进行hash计算，再基于服务器总权重的取模，最终结果决定将此请求转发至对应的后端服务器。此方法是静态的，即不支持在线调整权重，不支持慢启动，可实现对后端服务器均衡调度缺点是当服务器的总权重发生变化时，即有服务器上线或下线，都会因总权重发生变化而导致调度结果整体改变

4.3.1.2 一致性hash  
        一致性哈希，当服务器的总权重发生变化时，对调度结果影响是局部的，不会引起大的变动hash mode该hash算法是动态的，支持使用 socat等工具进行在线权重调整，支持慢启动

算法：

1、后端服务器哈希环点keyA=hash(后端服务器虚拟ip)%(2^32)

2、客户机哈希环点key1=hash(client_ip)%(2^32) 得到的值在[0---4294967295]之间，

3、将keyA和key1都放在hash环上，将用户请求调度到离key1最近的keyA对应的后端服务器

 hash环偏斜问题：

增加虚拟服务器IP数量，比如：一个后端服务器根据权重为1生成1000个虚拟IP，再hash。而后端服务器权
重为2则生成2000的虚拟IP，再bash,最终在hash环上生成3000个节点，从而解决hash环偏斜问题

hash对象

Hash对象到后端服务器的映射关系：

4.3.2 url
        基于对用户请求的URI的左半部分或整个uri做hash，再将hash结果对总权重进行取模后根据最终结果将请求转发到后端指定服务器适用于后端是缓存服务器场景默认是静态算法，也可以通过hash-type指定map-based和consistent，来定义使用取模法还是一致性hash

4.3.3 url_param
        url_param对用户请求的url中的 params 部分中的一个参数key对应的value值作hash计算，并由服务器总权重相除以后派发至某挑出的服务器,后端搜索同一个数据会被调度到同一个服务器，多用与电商通常用于追踪用户，以确保来自同一个用户的请求始终发往同一个real server如果无没key，将按roundrobin算法

4.3.4 hdr
        针对用户每个http头部(header)请求中的指定信息做hash，此处由 name 指定的http首部将会被取出并做hash计算，然后由服务器总权重取模以后派发至某挑出的服务器，如果无有效值，则会使用默认的轮询调度。  

4.3.5 算法总结
 #静态
static-rr--------->tcp/http
first------------->tcp/http
#动态
roundrobin-------->tcp/http
leastconn--------->tcp/http
#以下静态和动态取决于hash_type是否consistent
source------------>tcp/http
Uri--------------->http
url_param--------->http
hdr--------------->http

4.3.6 各算法的运用场景
first #使用较少
static-rr #做了session共享的web集群
roundrobin
leastconn #数据库
source
#基于客户端公网IP的会话保持
Uri--------------->http #缓存服务器，CDN服务商，蓝汛、百度、阿里云、腾讯
url_param--------->http #可以实现session保持
hdr #基于客户端请求报文头部做下一步处理

五.高级功能及配置

5.1基于cookie的会话保持
cookie value：为当前server指定cookie值，实现基于cookie的会话黏性，相对于基于 source 地址hash 调度算法对客户端的调度更精准，但同时也加大了haproxy负载，目前此模式使用较少， 已经被session 共享服务器代替

不支持 tcp mode，使用 http mode

5.1.1 配置选项
name： #cookie 的 key名称，用于实现持久连接
insert： #插入新的cookie,默认不插入cookie
indirect： #如果客户端已经有cookie,则不会再发送cookie信息
nocache： #当client和hapoxy之间有缓存服务器（如：CDN）时，不允许中间缓存器缓存cookie，
     #因为这会导致很多经过同一个CDN的请求都发送到同一台后端服务器

配置：

vim /etc/haproxy/haproxy.cfg
 
listen webcluster
    bind *:80
    mode http
    balance roundrobin
    cookie WEBCOOKIE insert nocache indirect
    server web1 172.25.254.10:80 cookie ding1 check inter 2 fall 3 rise 5 weight 1
    server web2 172.25.254.20:80 cookie ding2 check inter 2 fall 3 rise 5 weight 1

网页访问测试：172.25.254.100  访问到之后按F12 选到网络，看cookie值是否改变 

curl访问时指定cookie

RS主机访问：
curl -b WEBCOOKIE=ding1 172.25.254.100
curl -b WEBCOOKIE=ding2 172.25.254.100

5.2 haproxy的状态页面监控
配置选项：

 stats enable #基于默认的参数启用stats page
stats hide-version #将状态页中haproxy版本隐藏
stats refresh <delay> #设定自动刷新时间间隔，默认不自动刷新
stats uri <prefix> #自定义stats page uri，默认值：/haproxy?stats
stats auth <user>:<passwd> #认证时的账号和密码，可定义多个用户,每行指定一个用户
#默认：no authentication
stats admin { if | unless } <cond> #启用stats page中的管理功能

5.2.1 配置示例

vim/etc/haproxy/haproxy.cfg
 
listen stats
    mode http     ---模式
    bind *:443    ----- 监听端口
    stats enable  ---- 打开状态页
    stats refresh 5   ---- 设置刷新页面的时间
    stats uri /status  
    stats auth ding:ding   ---- 访问页面认证

5.3.2 七层IP透传

option forwardfor except 127.0.0.0/8 IP透传用到这个fowardfor这个参数

vim /etc/haproxy/haproxy.conf

RS主机测试：
cat /var/log/nginx/access.log 

5.4 haproxy中访问控制列表（ACL,全称Access Control Lists）
        访问控制列表ACL，Access Control Lists）是一种基于包过滤的访问控制技术它可以根据设定的条件对经过服务器传输的数据包进行过滤(条件匹配)即对接收到的报文进行匹配和过滤，基于请求报文头部中的源地址、源端口、目标地址、目标端口、请求方法、URL、文件后缀等信息内容进行匹配并执行进一步操作，比如允许其通过或丢弃。  

示例：
haproxy主机上：
vim/etc/haproxy/haproxy.cfg
 
frontend webcluster
    bind *:80
    mode http
    acl test hdr_dom(host) -i www.timingding.org
    use_backend webcluster-host if test  ----- 访问主机IP时，访问到RS2，访问域名时，访问到RS1
    default_backend default-host
 
backend webcluster-host
    mode http
    server web1 172.25.254.10:80 check inter 2 fall 2 rise 5
 
backend default-host
    mode http
    server web2 172.25.254.20:80 check inter 2 fall 2 rise 5
 
 [root@haproxy ~]# systemctl restart haproxy.service
[root@haproxy ~]# curl 172.25.254.100
webserver2 - 172.25.254.20
[root@haproxy ~]# curl www.timingding.org
webserver1 - 172.25.254.10
[root@haproxy ~]# 

创建子目录测试：
[root@webserver1 ~]# systemctl restart nginx.service 
[root@webserver1 ~]# mkdir /usr/share/nginx/html/ding -p
[root@webserver1 ~]# echo 172.25.254.10 ding > /usr/share/nginx/html/ding/index.html
[root@webserver1 ~]# 

5.5haproxy的四层负载

 针对除HTTP以外的TCP协议应用服务访问的应用场景

MySQL
Redis
Memcache
RabbitMQ

示例：
使用mariadb来示例：
两台RS主机安装mariadb:
[root@webserver1 ~]# yum install mariadb-server -y
[root@webserver2 ~]# yum install mariadb-server -y
 
改配置便于区分：
[root@webserver1 ~]# vim /etc/my.cnf.d/mariadb-server.cnf
[mysqld]
server_id=1
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
log-error=/var/log/mariadb/mariadb.log
pid-file=/run/mariadb/mariadb.pid
 
systemctl start mariadb
 
[root@webserver1 ~]# vim /etc/my.cnf.d/mariadb-server.cnf
[mysqld]
server_id=2
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
log-error=/var/log/mariadb/mariadb.log
pid-file=/run/mariadb/mariadb.pid
 
systemctl start mariadb

RS主机上创建mariadb远程登录用户
[root@webserver1 ~]# mysql
[root@webserver2 ~]# mysql  

查看端口是否开启：
netstat  -atnlupe | grep 3306 

haproxy主机:
[root@haproxy ~]# yum install mariadb-server -y
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
listen dbserver
    bind *:3306
    mode tcp
    balance static-rr   ----轮询
    server db1 172.25.254.10:3306 check inter 2 fall 2 rise 5
    server db2 172.25.254.20:3306 check inter 2 fall 2 rise 5
    
[root@haproxy ~]# systemctl restart haproxy.service

5.5.1 测试

haproxy主机上： RS1主机上： 

RS2主机上：