Haproxy搭建web群集

一、Haproxy概述

1.1 常见的web集群调度器

• 目前常见的Web集群调度器分为软件和硬件
• 软件通常使用开源的LVS、Haproxy、Nginx
• 硬件一般使用比较多的是F5，也有很多人使用国内的一些产品,如梭子鱼、绿盟等

1.2 Haproxy应用分析

LVS在企业应用中抗负载能力很强，但存在不足

• LVS不支持正则处理，不能实现动静分离
• 对于大型网站，LVS的实施配置复杂，维护成本相对较高
  Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件
• 适用于负载大的Web站点
• 运行在硬件上可支持数以万计的并发连接的连接请求

二、Haproxy调度算法原理

2.1 RR (Round Robin)

• RR算法是最简单最常用的一种算法，即轮询调度

理解举例

• 有三个节点A、B、C
• 第一个用户请问会被指派到节点A
• 第二个用户访问会被指派到节点B
• 第三个用户访问会被指派到节点C
• 第四个用户访问继续指派到节点A，轮询分配访问请求实现负载均衡效果

2.2 LC (Least Connections)

• 最小连接数算法，根据后端的节点连接数大小动态分配前端请求

理解举例

• 有三个节点A、B、C，各节点的连接数分别为A:4、B:5、C:6
• 第一个用户连接请求，会被指派到A上，连接数变为A:5、B:5、C:6
• 第二个用户请求会继续分配到A上，连接数变为A:6、B:5、C:6;再有新的请求会分配给B，每次将新的请求指派给连接数最小的客户端
• 由于实际情况下A、B、C的连接数会动态释放，很难会出现一样连接数的情况
• 此算法相比较rr算法有很大改进，是目前用到比较多的一种算法

2.3 SH (Source Hashing)

• 基于来源访问调度算法，用于一些有Session会话记录在服务器端的场景，可以基于来源的IP、Cookie等做集群调度

理解举例

• 有三个节点A、B、C，第一个用户第一次访问被指派到了A，第二个用户第一次访问被指派到了B
• 当第一个用户第二次访问时会被继续指派到A，第二个用户第二次访问时依旧会被指派到B，只要负载均衡调度器不重启，第一个用户访问都会被指派到A，第二个用户访问都会被指派到B，实现集群的调度
• 此调度算法好处是实现会话保持，但某些IP访问量非常大时会引起负载不均衡,部分节点访问量超大，影响业务使用

三、使用Haproxy搭建web群集

3.1 案例拓扑图（一）

3.2 案例配置

• nfs存储服务器的配置

    yum -y install nfs-utils rpcbind
    mkdir /opt/web1
    mkdir /opt/web2
    echo "<h1>this is web1</h1>" >> /opt/web1/index.html
    echo "<h1>this is web2</h1>" >> /opt/web2	/index.html
    vi /etc/exports
    /opt/web1 192.168.10.13(ro)
    /opt/web2 192.168.10.14(ro)
    systemctl start nfs
    systemctl restart rpcbind
    showmount -e
  

• web节点上的配置

首先需要在节点上面搭建nginx网页

tar zxvf nginx-1.12.2.tar.gz
yum -y install gcc gcc-c++ make pcre-devel zlib-devel
useradd -M -s /sbin/nologin nginx
cd nginx-1.12.2/
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_stub_status_module
make && make install
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
mount 192.168.10.19:/opt/web1 /usr/lcoal/nginx/html
nginx
curl http://localhost

• 调度器上的配置

    yum -y install gcc gcc-c++ make pcre-devel bzip2-devel
    tar zxvf haproxy-1.4.24.tar.gz
    cd haproxy-1.4.24/
    make TARGET=linux26
    make install
    mkdir /etc/haproxy
    cp examples/haproxy.cfg /etc/haproxy/
    vim /etc/haproxy/haproxy.cfg
    #chroot /usr/share/haproxy     # 需要注释掉
    #redispatch					# 需要注释掉
    删除将原来的listen配置项，添加新配置：
    listen webcluster 0.0.0.0:80
  	   option httpchk GET /index.html
  	   balance roundrobin
     	  server nginx1 192.168.10.13:80 check inter 2000 fall 3
   	  server nginx2 192.168.10.14:80 check inter 2000 fall 3
    cp haproxy-1.4.24/examples/haproxy.init /etc/init.d/haproxy	# 优化启动配置
    vi /etc/init.d/haproxy
    # chkconfig: 35 85 15		# 改为35启动方式
    chmod 755 /etc/init.d/haproxy
    chkconfig --add /etc/init.d/haproxy
    ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
    systemctl start haproxy
  

3.3 访问测试

可通过命令访问网页得出出出现不同的跳转：

3.4 Haproxy日志管理

1. 默认是输出到系统的syslog（系统日志）中，生成环境中一般单独定义

2. 定义的方法步骤
   修改Haproxy配置文件中关于日志配置的选项，加入配置 log /dev/log local0 info log /dev/log
   local0 notice
   修改rsyslog配置，将Haproxy相关的配置独立定义到haproxy.conf，并放到/etc/rsyslog.d下
   保存配置文件并重启rsyslog服务，完成rsyslog配置

3. 访问Haproxy集群测试网页并查看日志信息

4. 具体配置（基于上面的Haproxy搭建web群集实验）

    [root@haproxy1 ~]# vi /etc/haproxy/haproxy.cfg
    修改：
    global
    	log /dev/log    local0 info
    	log /dev/log    local0 notice
   
    [root@haproxy1 ~]# systemctl restart haproxy.service
    [root@haproxy1 ~]# vi /etc/rsyslog.d/haproxy.conf
   
    添加：
    if ($programname == 'haproxy' and $syslogseverity-text == 'info')
    then -/var/log/haproxy/haproxy-info.log
    &~
    if ($programname == 'haproxy' and $syslogseverity-text == 'notice')
    then -/var/log/haproxy/haproxy-notice.log
    &~
   
    [root@haproxy1 ~]# systemctl restart rsyslog.service
    [root@haproxy1 ~]# systemctl restart haproxy.service
    [root@haproxy1 ~]# cd /var/log/haproxy/
   

我们通过访问网页就能够更新日志文件，然后通过查看日志文件可以看到具体的信息。

3.5 Haproxy参数优化

随着企业网站负载增加， haproxy参数优化相当重要

• maxconn：最大连接数，根据应用实际情况进行调整，推荐使用10240
• daemon：守护进程模式， Haproxy可以使用非守护进程模式启动，建议使用守护进程模式启动
• nbproc：负载均衡的并发进程数，建议与当前服务器CPU核数相等或为其2倍 retries：重试次数，主要用于对集群节点的检查，如果节点多，且并发量大，设置为2次或3次
• option http-server-close：主动关闭http请求选项，建议在生产环境中使用此选项
• timeout http-keep-alive：长连接超时时间，设置长连接超时时间，可以设置为10s
• timeout http-request：http请求超时时间，建议将此时间设置为5~10s，增加http连接释放速度
• timeout client：客户端超时时间，如果访问量过大，节点响应慢，可以将此时间设置短一些，建议设置为1min左右就可以了

3.6 页面优化

vi /etc/haproxy/haproxy.cfg
listen admin_stats
bind 0.0.0.0:1080     #设置Frontend和Backend的组合体，监控组的名称，按需要自定义名称
mode http 			  #http的7层模式 
option httplog        #采用http日志模式
#log 127.0.0.1 local0 err #错误日志记录
maxconn 10			  #默认的最大连接数 
stats refresh 30s	  #统计页面自动刷新时间
stats uri /stats	  #统计页面
stats realm XingCloud\ Haproxy #统计页面密码框上提示文本
stats auth admin:admin	#设置监控页面的用户和密码,可以设置多个用户名
stats auth Frank:Frank  #设置监控页面的用户和密码∶ Frank
stats hide-version 	    #隐藏统计页面上HAProxy的版本信息
stats admin if TRUE     #设置手工启动/禁用，后端服务器（haproxy-1.4.9以后版本）

通过浏览器访问页面
http://192.168.10.11:1080/stats