haproxy负载均衡配置

HAPROXY 负载均衡配置

一、HAProxy简介

（1）HAProxy 是一款提供高可用性、负载均衡以及基于TCP（第四层）和HTTP（第七层）应用的代理软件，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。 HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上，完全可以支持数以万计的 并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。

（2）HAProxy 实现了一种事件驱动、单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 、系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户端(User-Space) 实现所有这些任务，所以没有这些问题。此模型的弊端是，在多核系统上，这些程序通常扩展性较差。这就是为什么他们必须进行优化以 使每个CPU时间片(Cycle)做更多的工作。

（3）HAProxy 支持连接拒绝 : 因为维护一个连接的打开的开销是很低的，有时我们很需要限制攻击蠕虫（attack bots），也就是说限制它们的连接打开从而限制它们的危害。 这个已经为一个陷于小型DDoS攻击的网站开发了而且已经拯救了很多站点，这个优点也是其它负载均衡器没有的。

（4）HAProxy 支持全透明代理（已具备硬件防火墙的典型特点）: 可以用客户端IP地址或者任何其他地址来连接后端服务器. 这个特性仅在Linux 2.4/2.6内核打了cttproxy补丁后才可以使用. 这个特性也使得为某特殊服务器处理部分流量同时又不修改服务器的地址成为可能。

二、性能

HAProxy借助于OS上几种常见的技术来实现性能的最大化。

1，单进程、事件驱动模型显著降低了上下文切换的开销及内存占用。

2，O(1)事件检查器(event checker)允许其在高并发连接中对任何连接的任何事件实现即时探测。

3，在任何可用的情况下，单缓冲(single buffering)机制能以不复制任何数据的方式完成读写操作，这会节约大量的CPU时钟周期及内存带宽；
4，借助于Linux 2.6 (>= 2.6.27.19)上的splice()系统调用，HAProxy可以实现零复制转发(Zero-copy forwarding)，在Linux 3.5及以上的OS中还可以实现零复制启动(zero-starting)；

5，内存分配器在固定大小的内存池中可实现即时内存分配，这能够显著减少创建一个会话的时长；

6，树型存储：侧重于使用作者多年前开发的弹性二叉树，实现了以O(log(N))的低开销来保持计时器命令、保持运行队列命令及管理轮询及最少连接队列；

7，优化的HTTP首部分析：优化的首部分析功能避免了在HTTP首部分析过程中重读任何内存区域；

8，精心地降低了昂贵的系统调用，大部分工作都在用户空间完成，如时间读取、缓冲聚合及文件描述符的启用和禁用等；

所有的这些细微之处的优化实现了在中等规模负载之上依然有着相当低的CPU负载，甚至于在非常高的负载场景中，5%的用户空间占用率和95%的系统空间占用率也是非常普遍的现象，这意味着HAProxy进程消耗比系统空间消耗低20倍以上。因此，对OS进行性能调优是非常重要的。即使用户空间的占用率提高一倍，其CPU占用率也仅为10%，这也解释了为何7层处理对性能影响有限这一现象。由此，在高端系统上HAProxy的7层性能可轻易超过硬件负载均衡设备。

在生产环境中，在7层处理上使用HAProxy作为昂贵的高端硬件负载均衡设备故障故障时的紧急解决方案也时长可见。硬件负载均衡设备在“报文”级别处理请求，这在支持跨报文请求(request across multiple packets)有着较高的难度，并且它们不缓冲任何数据，因此有着较长的响应时间。对应地，软件负载均衡设备使用TCP缓冲，可建立极长的请求，且有着较大的响应时间。

三、负载均衡算法

目前haproxy支持的负载均衡算法有如下8种

1.roundrobin
动态加权轮询算法，支持权重的运行时调整及慢启动机制；最大支持4095个后端主机；在服务器的处理时间平均分配的情况下这是最流畅和公平的算法。该算法是动态的，对于实例启动慢的服务器权重会在运行中调整。
2.leastconn
最小连接数算法，连接数最少的服务器优先接收连接。建议用于长会话场景中使用，例如LDAP、SQL等协议，而不适合短会话协议。如HTTP.该算法是动态的，对于实例启动慢的服务器权重会在运行中调整。

3.static-rr
静态轮询算法，不支持权重的运行时调整和慢启动机制。每个服务器根据权重轮流使用，类似roundrobin。另外，它对服务器的数量没有限制。
4、source
源地址哈希算法，对请求源IP地址进行哈希；

取模法：将源地址hash计算后除以服务器总权重,服务器变动会影响全局调度效果；根据结果进行分配。只要服务器正常，同一个客户端IP地址总是访问同一个服务器。如果哈希的结果随可用服务器数量而变化，那么客户端会定向到不同的服务器；该算法默认是静态的，所以运行时修改服务器的权重是无效的，但是算法会根据“hash-type”的变化做调整。

该算法一般用于不能插入cookie的Tcp模式。它还可以用于广域网上为拒绝使用会话cookie的客户端提供最有效的粘连；

一致性hash:服务器变动仅影响局部调度；动态调度;

5、uri
表示根据请求的URI左端（问号之前）或整个URI做hash进行哈希计算，并与服务器的总权重相除后根据结果派发至某挑选出的后端主机。只要服务器正常，以最大限度的提高缓存的命中率。

作用是能够将对同一个uri的请求始终发往一个后端主机；适用于后端为缓存服务器和反病毒代理的场景； 该算法默认是静态的，所以运行时修改服务器的权重是无效的，但是算法会根据“hash-type”的变化做调整。该算法只能用于HTTP后端。

6、url_param
在HTTP GET请求的查询串中查找中指定的URL参数的值做hash计算，并与服务器的总权重相除后派发至某挑选出的后端主机；基本上可以锁定使用特制的URL到特定的负载均衡器节点的要求；

此算法常用来追踪请求中的用户标识，以确保来自同一个用户的请求始终发往同一个后端主机；

该算法默认是静态的，所以运行时修改服务器的权重是无效的，但是算法会根据“hash-type”的变化做调整。

7、hdr(name)
对于每个http请求，此处由指定的http首部会被取出；如果此首部没有有效值，则用roundrobin代替；否则，对其值进行hash计算，并与服务器的总权重相除后派发至某挑选出的后端主机；

该算法默认是静态的，所以运行时修改服务器的权重是无效的，但是算法会根据“hash-type”的变化做调整。

8、rdp-cookie（name）
为每个进来的TCP请求查询并哈希RDPcookie；

该机制用于退化的持久模式，可以使同一个用户或者同一个会话ID总是发送给同一台服务器。如果没有cookie，则使用roundrobin算法代替；

该算法默认是静态的，所以运行时修改服务器的权重是无效的，但是算法会根据“hash-type”的变化做调整。

四、安装

环境依赖包
gcc openssl-devel pcre-devel systemd-devel

tar -zxvf  haproxy-2.5.1.tar.gz -C /usr/local/src

HAProxy 1.8及1.9版本编译参数：

make ARCH=x86_64 TARGET=linux2628 USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 \
USE_SYSTEMD=1 USE_CPU_AFFINITY=1 PREFIX=/usr/local/haproxy

HAProxy 2.0以上版本编译参数：需要指定lua的安装路径

make ARCH=x86_64 TARGET=linux-glibc USE_PCRE=1 \
USE_OPENSSL=1 USE_ZLIB=1 USE_SYSTEMD=1 USE_LUA=1 LUA_INC=/usr/local/src/lua-5.3.5/src/ LUA_LIB=/usr/local/src/lua-5.3.5/src/

1.下载并解压缩

wget http://www.haproxy.org/download/2.5/src/haproxy-2.5.1.tar.gz
#wget 10.0.0.88/src/haproxy-2.5.1.tar.gz
tar -zxvf haproxy-2.5.1.tar.gz -C /usr/local/src/

2. 安装lua环境

HAProxy要求的lua最低版本(5.3)

yum install gcc readline-devel
wget http://www.lua.org/ftp/lua-5.4.4.tar.gz
tar zxf lua-5.4.4.tar.gz && cd lua-5.4.4 && make all test
mkdir -pv /apps/lua
cp  -a  src/* /apps/lua/

3. 安装依赖包

#yum -y install gcc openssl-devel pcre-devel systemd-devel \
#iproute2 ntpdate tcpdump telnet traceroute nfs-kernel-server nfs-common \
#lrzsz tree openssl libssl-dev libpcre3 libpcre3-dev zlib1g-dev openssh-server libreadline-dev libsystemd-devstall 

4. 编译

• 需要制定lua安装路径

  cd /usr/local/src/haproxy-2.5.1/ 
  
  make ARCH=x86_64 TARGET=linux-glibc USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 \
  USE_SYSTEMD=1 USE_CPU_AFFINITY=1 USE_LUA=1 LUA_INC=/apps/lua/ \
  LUA_LIB=/apps/lua/ PREFIX=/usr/local/haproxy
  
  make install PREFIX=/usr/local/haproxy
  cp haproxy /usr/sbin/
  echo 'export PATH=/usr/local/haproxy/sbin:$PATH' > /etc/profile.d/haproxy.sh
  source /etc/profile
  

• 查看haproxy安装版本

​ haproxy -v

5.创建haproxy的启动用户及配置文件

#启动用户
useradd -M -s /sbin/nologin haproxy
[root@node4 ~]# id haproxy
uid=1000(haproxy) gid=1000(haproxy) groups=1000(haproxy)
#配置文件
mkdir /etc/haproxy
cd /etc/haproxy

1、全局配置

官方文档 https://cbonte.github.io/haproxy-dconv/2.0/intro.html

#global部分
global
	# log语法：log <address_1>[max_level_1]
	# 全局的日志配置，使用log关键字，指定使用127.0.0.1上的syslog服务中的local0日志设备，记录日志等级为info的日志
    log 127.0.0.1 local1 info #全局的日志配置，local0是日志设备，info表示日志级别。其中日志级别有err, warning, info, debug 4种。这个配置表示使用127.0.0.1上的rsyslog服务中的local0日志设备，记录日志等级为info
    maxconn 4096  #设置每个HAProxy进程可接受的最大并发连接数
    user harproxy  #设置启动HAProxy进程的用户 
    group harproxy  #设置启动HAProxy进程的组 
    daemon   #设置HAProxy进程进入后台运行，这是推荐的运行模式 
    #nbproc 1  #设置HAProxy启动时可创建的进程数，此参数要求将HAProxy运行模式设置为daemon，默认只启动一个进程；建议该值设置时小于CPU核数 2.5之后不在使用
    #nbthread 1 #指定每个haproxy进程开启的线程数，默认为每个进程一个线程
    maxsslconn #每个haproxy进程ssl最大连接数,用于haproxy配置了证书的场景下
	maxconnrate #每个进程每秒创建的最大连接数量
	spread-checks 2 #后端server状态check随机提前或延迟百分比时间，建议2-5(20%-50%)之间
    pidfile /var/lib/haproxy/haproxy.pid #指定pid文件路径

2、代理配置Proxies配置

官方文档 https://cbonte.github.io/haproxy-dconv/2.0/configuration.html

defaults [<name>] #默认配置项，针对以下的frontend、backend和lsiten生效，可以多个name也可以没有name
frontend <name> #前端servername，类似于Nginx的一个虚拟主机 server。
backend <name> #后端服务器组，等于nginx的upstream
listen <name> #将frontend和backend合并在一起配置
注意：name字段只能使用”-”、”_”、”.”、和”:”，并且严格区分大小写，例如：Web和web是完全不同的两组服务器。

1 、Proxies的-defaults 默认配置

defaults
	log global   #表示用global模块中定义的日志配置
	mode http    #模式  使用http模式
	option httplog     #默认haproxy日志，不记录http请求，开启记录http请求
	option dontlognull   #保证HAProxy不记录上级负载均衡发送过来的用于检测状态没有数据的心跳包
	option redispatch #当server Id对应的服务器挂掉后，强制定向到其他健康的服务器，重新派发。
	option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接，关闭
	option http-keep-alive #开启与客户端的会话保持
	option forwardfor #透传客户端真实IP至后端web服务器
	timeout http-keep-alive 120s #session 会话保持超时时间，范围内会转发到相同的后端服务器
	timeout connect 5000  #成功连接一台服务器最长等待时间 单位毫秒
	timeout client 50000  #连接客户端最长等待时间 单位毫秒
	timeout server 50000  #服务器回应客户端最长等待时间 单位毫秒
	timeout check 5s #对后端服务器的默认检测超时时间

2、Proxies的-frontend 前端配置

bind：指定HAProxy的监听地址，可以是IPV4或IPV6，可以同时监听多个IP或端口，可同时用于listen字段中
bind [<address>]:<port_range> [, ...] [param*]
stats uri /haproxy?stats    haproxy的状态管理页面，通过/haproxy?stats来访问

生产示例：
frontend WEB_PORT
  bind :80,:8080
  bind 192.168.7.102:10080,:8801-8810,192.168.7.101:9001-9010
  mode http/tcp #指定负载协议类型
  use_backend backend_name #调用的后端服务器组名称  
  

3、Proxies配置-backend 后端配置

定义一组后端服务器，backend服务器将被frontend进行调用

mode http/tcp #指定负载协议类型

mode http/tcp #指定负载协议类型
option #配置选项
server #定义后端real server
#注意：option后面加httpchk，smtpchk,mysql-check,pgsql-check，ssl-hello-chk方法，可用于实现更多应用层检测功能

check #对指定real进行健康状态检查，默认不开启
  addr IP #可指定的健康状态监测IP
  port num #指定的健康状态监测端口
  inter num #健康状态检查间隔时间，默认2000 ms
  fall num #后端服务器失效检查次数，默认为3
  rise num #后端服务器从下线恢复检查次数，默认为2
weight #默认为1，最大值为256，0表示不参与负载均衡
backup #将后端服务器标记为备份状态
disabled #将后端服务器标记为不可用状态
redirect prefix http://www.magedu.net/ #将请求临时重定向至其它URL，只适用于http模式
maxconn <maxconn>：当前后端server的最大并发连接数
backlog <backlog>：当server的连接数达到上限后的后援队列长度

4、frontend+backend配置实例

#官网业务访问入口
frontend WEB_PORT_80
bind 192.168.7.248:80
mode http
use_backend web_prot_http_nodes
#后端真实服务器
backend web_prot_http_nodes
mode http
option forwardfor
server 192.168.7.101 192.168.7.101:8080 check inter 3000 fall 3 rise 5
server 192.168.7.102 192.168.7.102:8080 check inter 3000 fall 3 rise 5

5、Proxies配置-listen替代frontend+backend

使用listen替换frontend和backend的配置方式：
#官网业务访问入口=====================================
listen WEB_PORT_80
  bind 192.168.7.102:80
  mode http
  option forwardfor
  server web1 192.168.32.201:80 check inter 3000 fall 3 rise 5
  server web2 192.168.32.202:80 check inter 3000 fall 3 rise 5

3、完整示例

vim /etc/haproxy/haproxy.cfg

 global
    maxconn 100000
    chroot /usr/local/haproxy
    stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin
    #uid 1000
    #gid 1000
    user haproxy
    group haproxy
    daemon
   #nbproc 1   #2.5 版本之后不在支持
    pidfile /var/lib/haproxy/haproxy.pid
    log 127.0.0.1 local3 info
defaults
    option http-keep-alive
    option forwardfor
    maxconn 100000
    mode http
    timeout connect 300000ms
    timeout client 300000ms
    timeout server 300000ms
listen stats
    mode http
    bind 0.0.0.0:9999
    stats enable
    log global
stats uri /haproxy-status
    stats auth haadmin:ha123456

listen web_port
   bind  0.0.0.0:9002
   mode http
   log global
   balance roundrobin
   server web01 youduk1:9001 check inter 3000 fall 2 rise 5
   server web02 youduk2:9001 check inter 3000 fall 2 rise 5
   server web03 youduk3:9001 check inter 3000 fall 2 rise 5
   server web04 youduk4:9001 check inter 3000 fall 2 rise 5
   
   #web01节点名称  
   


listen tcp_port
   bind  0.0.0.0:9030 
   mode http
   log global
   balance roundrobin
   server tcp01 youduk1:9029 check inter 3000 fall 2 rise 5
   server tcp02 youduk2:9029 check inter 3000 fall 2 rise 5
   server tcp03 youduk3:9029 check inter 3000 fall 2 rise 5
   server tcp04 youduk4:9029 check inter 3000 fall 2 rise 5 

6.HAproxy的启动脚本

vim /usr/lib/systemd/system/haproxy.service
[Unit]
Description=HAProxy Load Balancer
After=syslog.target network.target
[Service]
ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -c -q
ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid
ExecReload=/bin/kill -USR2 $MAINPID
[Install]
WantedBy=multi-user.target
退出保存

systemctl daemon-reload

7.启动haproxy

mkdir /var/lib/haproxy
chown haproxy:haproxy /var/lib/haproxy/ -R
systemctl start haproxy   
systemctl enable haproxy  //设置开启可用
systemctl status haproxy

linux开放端口 9999 9030

8、配置日志

cat /etc/rsyslog.conf
 默认有下面的设置，会读取 /etc/rsyslog.d/*.conf目录下的配置文件
 $IncludeConfig /etc/rsyslog.d/*.conf

为haproxy创建一个独立的配置文件

# vim  /etc/rsyslog.d/haproxy.conf
$ModLoad imudp
$UDPServerRun 514
$UDPServerAddress 0.0.0.0
local3.*     /var/log/haproxy.log
#如果不加下面的的配置则除了在/var/log/haproxy.log中写入日志外，也会写入message文件

配置rsyslog的主配置文件，开启远程日志

vim /etc/sysconfig/rsyslog

 SYSLOGD_OPTIONS=”-c 2 -r -m 0″
 #-c 2 使用兼容模式，默认是 -c 5
 #-r   开启远程日志
 #-m 0 标记时间戳。单位是分钟，为0时，表示禁用该功能

重启haproxy和rsyslog服务

重启日志
systemctl restart rsyslog 
重启haproxy
systemctl restart haproxy 

cat /var/log/haproxy.log

2022-02-10T17:23:07+08:00 localhost haproxy[18411]: Connect from 172.30.156.87:26181 to 172.30.156.226:9999 (stats/HTTP)
2022-02-10T17:23:18+08:00 localhost haproxy[18411]: Connect from 172.30.156.87:26193 to 172.30.156.226:9002 (web_port/HTTP)
2022-02-10T17:23:18+08:00 localhost haproxy[18411]: Connect from 172.30.156.87:26207 to 172.30.156.226:9002 (web_port/HTTP)
2022-02-10T17:23:18+08:00 localhost haproxy[18411]: Connect from 172.30.156.87:26208 to 172.30.156.226:9002 (web_port/HTTP)
2022-02-10T17:23:18+08:00 localhost haproxy[18411]: Connect from 172.30.156.87:26209 to 172.30.156.226:9002 (web_port/HTTP)
2022-02-10T17:23:18+08:00 localhost haproxy[18411]: Connect from 172.30.156.87:26210 to 172.30.156.226:9002 (web_port/HTTP)
2022-02-10T17:23:18+08:00 localhost haproxy[18411]: Connect from 172.30.156.87:26212 to 172.30.156.226:9002 (web_port/HTTP)
2022-02-10T17:23:18+08:00 localhost haproxy[18411]: Connect from 172.30.156.87:26216 to 172.30.156.226:9002 (web_port/HTTP)

9.验证

管理页面

浏览器浏览 http://172.30.156.226:9999/haproxy-status

数据用户 haadmin 密码 ha123456

登录正常

http://172.30.156.226:9002/haproxy-status

正常访问