haproxy心跳检测_LB与HA解决方案：haproxy+keepalived

haproxy能够实现的功能

4层负载均衡，透明代理，7层负载均衡(会话保持，动静分离，多种轮询算法)

安装haproxy

centos7 自带HA-Proxy version 1.5

yum update -y && yum install epel* -y && yum update -y && yum install haproxy -y

配置使其能够进行转发(haproxy是基于nat模式的负载均衡需要打开系统的转发功能)

vim /etc/sysctl.conf

net.ipv4.ip_forward = 1

sysctl -p #刷新配置

编辑haproxy的配置

vim /etc/haproxy/haproxy.conf,待会儿将详细介绍各种参数，现完成以下案例

1：利用tcp模式，实现ssl的代理与负载均衡

2：利用http模式，实现简单的web负载均衡，(后面会介绍利用frontend，backend实现负载的负载均衡，比如动静分离)

3：利用listen模块，实现配置整体监控页面

配置文件haproxy.conf的内容

#################################

global

maxconn 20480 #默认最大连接数

log 127.0.0.1 local3 notice

chroot /var/lib/haproxy  #注意，这里的路径与1.4,1.3版本的路径不太一样

user haproxy

group haproxy

daemon #以后台形式运行haproxy

nbproc 1 #进程数量(可以设置多个进程提高性能)

pidfile /var/run/haproxy.pid #haproxy的pid存放路径,启动进程的用户必须有权限访问此文件

ulimit-n 65535 #ulimit的数量限制

defaults

log global

mode http #所处理的类别 (#7层 http;4层tcp )

maxconn 20480 #最大连接数

option httplog #日志类别http日志格式

option httpclose #每次请求完毕后主动关闭http通道

option dontlognull #不记录健康检查的日志信息

option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip

option redispatch #当serverid对应的服务器挂掉后，强制定向到其他健康服务器

#当使用了cookie时，haproxy将会将其请求的后端服务器的serverID插入到cookie中，以保证会话的SESSION持久性；而此时，如果后端的服务器宕掉了，但是客户端的cookie是不会刷新的，如果设置此参数，将会将客户的请求强制定向到另外一个后端server上，以保证服务的正常。

option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的连接

stats refresh 30 #统计页面刷新间隔

retries 3 #3次连接失败就认为服务不可用，也可以通过后面设置

balance roundrobin #默认的负载均衡的方式,轮询方式

#balance source #默认的负载均衡的方式,类似nginx的ip_hash

#balance leastconn #默认的负载均衡的方式,最小连接

timeout connect 10s #连接超时，注意这里的关键词与1.3,1.4版本不一样

timeout client 1m #客户端超时

timeout server 1m #服务器超时

timeout http-keep-alive 10s

timeout check 10s #心跳检测超时

listen jiankong *:80 #利用listen模块，实现配置整体监控页面

description web-jiqun

mode http #http的7层模式

log 127.0.0.1 local3 err #错误日志记录

stats refresh 5s #每隔5秒自动刷新监控页面

stats uri /admin #监控页面的url

stats realm itnihao\ itnihao #监控页面的提示信息

stats auth admin:admin #监控页面的用户和密码admin,可以设置多个用户名

stats auth admin1:admin1 #监控页面的用户和密码admin1

stats hide-version #隐藏统计页面上的HAproxy版本信息

stats admin if TRUE #手工启用/禁用,后端服务器(haproxy-1.4.9以后版本)

########HAProxy的日志记录内容设置##########

capture request header Host len 40

capture request header Content-Length len 10

capture request header Referer len 200

capture response header Server len 40

capture response header Content-Length len 10

capture response header Cache-Control len 8

listen web *:100 #利用http模式，实现简单的web负载均衡

description web

mode http

balance roundrobin

server web1 192.168.10.188:80 check inter 1500 rise 3 fall 3 weight 1

server web2 192.168.10.153:80 check inter 1500 rise 3 fall 3 weight 1

listen ssl *:200 #利用tcp模式，实现ssl的代理与负载均衡

description ssl-web

mode tcp

balance roundrobin

server web1 192.168.10.188:22

server web2 192.168.10.153:22

**********************************

为haproxy配置log，实现记录日志的功能

vim /etc/rsyslog.conf #在这个文件里追加一行

local3.* /var/log/haproxy.log

重启rsyslog服务

systemctl restart rsyslog

haproxy -f /etc/haproxy/haproxy.cfg -c #检查指定配置是否正确

haproxy -f /etc/haproxy/haproxy.cfg -D #指定配置文件启动

在启动haproxy后，查看是否有/var/log/haproxy.log这个文件，若是没有，可以考虑禁止se

linux

安装keepalived

keepalived不仅可以实现高可用(控制vip的漂移)，还能实现负载均衡，我们这里只需要它实现vip漂移;keepalived采用官网下载的源码方式安装

先安装依赖

yum install openssl-devel.x86_64 -y

下载地址：http://www.keepalived.org/

./configure #若是这步出错，很可能是没安装openssl-devel.x86_64

make -j4

make install

(注意：编译时尽量别添加prefix参数，因为keepalived启动是默认的配置文件路径是/etc/keepalived/keepalived.conf,若路径或文件不存在，就无法实现vip的绑定)

安装完成后需要把配置文件cp /usr/local/etc/keepalived /etc -r

keepalived实现HA的原理

利用vrrp协议；(MASTER一直发送心跳给BACKUP，backup若收不到心跳则会接管vip)

keepalived配置文件vim /etc/keepalived/keepalived.conf(主与备)-(注意：主与备节点，只需改动state MASTER和priority 100这两个地方)

keepalived在启动时并不检查语法的正确性，需要特别注意，配置语法别错

#全局定义部分

global_defs {

notification_email {

root@wsfnk.com#设置邮件报警地址，可以设置多个，每行一个

112323250@qq.com

}

notification_email_from Alexandre.Cassen@firewall.loc#设置邮件的发送地址

smtp_server 192.168.200.1#设置smtp server

smtp_connect_timeout 30#设置连接smtp server的超时时间

router_id LVS_DEVEL#表示运行keepalived服务器的一个标示，发送邮件时显示在邮件主题中的信息

vrrp_skip_check_adv_addr

vrrp_strict

vrrp_garp_interval 0

vrrp_gna_interval 0

}

vrrp_script chk_http_port {#定义一个检查haproxy的脚本

script "/root/check_haproxy.sh"

interval 2

weight 2

}

#vrrp实例定义部分

vrrp_instance VI_1 {

state MASTER#指定角色为主MASTER，备为BACKUP

interface eth0#指定HA监测网络的接口,注意网络设备的名字，要与系统一致

virtual_router_id 51#虚拟路由标示，这个标示是一个数字，同一个vrrp实例使用唯一的标示

priority 100#主权值必须设得比 back 高，数字越大越高

advert_int 1#设定keepalived-master与备节点的心跳间隔时间，单位是秒

authentication {#设置验证类型和密码

auth_type PASS#设置验证类型，由PASS与HA两种

auth_pass 1111#设置验证密码，同一vrrp实例下，keepalived-master与backup节点必须使用相同的密码才能正常通信

}

track_script {#调用上面定义检查haproxy的脚本

chk_http_port

}

virtual_ipaddress {#设置虚拟ip，可以设置多个虚拟的vip，每行一个

192.168.200.16

192.168.200.18

}

}

******************************************

keepalived控制haproxy的启动

下面脚本的意思是，当主备启动keepalived时，会分别启动haproxy，只要keepalived不停，haproxy程序就杀不死,用vip承载业务，两边haproxy都启动没有影响，只需要做好监控，当然完善一下也可以

cd /root

vim check_haproxy.sh

#!/bin/bash

if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then

/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -D

fi

sleep 2

if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then

keepalived stop

fi

chmod +x check_haproxy.sh

启动keepalived

keepalived start

***************************************

★★★stop若要深入研究haproxy与keepalived，下面是他们的配置示例

以下是haproxy的配置讲解,主要讲listen，acl，frontend，backend

##################全局配置信息#####################

#######参数是进程级的，通常和操作系统(OS)相关#########

global

###################默认的全局设置###################

##这些参数可以被利用配置到frontend，backend，listen组件##

defaults

##################网站监测listen配置################

#########此用法主要是监控haproxy后端服务器的监控状态#######

listen site_status

bind 0.0.0.0:1081 #监听端口

mode http #http的7层模式

log 127.0.0.1 local3 err #[err warning info debug]

monitor-uri /site_status #网站健康检测URL，用来检测HAProxy管理的网站是否可以用，正常返回200，不正常返回503

acl site_dead nbsrv(server_web) lt 2 #定义网站down时的策略当挂在负载均衡上的指定backend的中有效机器数小于1台时返回true

acl site_dead nbsrv(server_blog) lt 2

acl site_dead nbsrv(server_bbs) lt 2

monitor fail if site_dead #当满足策略的时候返回503，网上文档说的是500，实际测试为503

monitor-net 192.168.16.2/32 #来自192.168.16.2的日志信息不会被记录和转发

monitor-net 192.168.16.3/32

########frontend配置############

#####注意，frontend配置里面可以定义多个acl进行匹配操作########

frontend http_80_in

bind 0.0.0.0:80 #监听端口，即haproxy提供web服务的端口，和lvs的vip端口类似

mode http #http的7层模式

log global #应用全局的日志配置

option httplog #启用http的log

option httpclose #每次请求完毕后主动关闭http通道，HA-Proxy不支持keep-alive模式

option forwardfor #如果后端服务器需要获得客户端的真实IP需要配置次参数，将可以从Http Header中获得客户端IP

########acl策略配置#############

acl itnihao_web hdr_reg(host) -i ^(www.itnihao.cn|ww1.itnihao.cn)$

#如果请求的域名满足正则表达式中的2个域名返回true -i是忽略大小写

acl itnihao_blog hdr_dom(host) -i blog.itnihao.cn

#如果请求的域名满足www.itnihao.cn返回true -i是忽略大小写

#acl itnihao hdr(host) -i itnihao.cn

#如果请求的域名满足itnihao.cn返回true -i是忽略大小写

#acl file_req url_sub -i killall=

#在请求url中包含killall=，则此控制策略返回true,否则为false

#acl dir_req url_dir -i allow

#在请求url中存在allow作为部分地址路径，则此控制策略返回true,否则返回false

#acl missing_cl hdr_cnt(Content-length) eq 0

#当请求的header中Content-length等于0时返回true

acl url_static path_beg -i /static /images /javascript /stylesheets

acl url_static path_end -i .jpg .gif .png .css .js

#use_backend static if url_static

#default_backend app

########acl策略匹配相应#############

#block if missing_cl

#当请求中header中Content-length等于0阻止请求返回403

#block if !file_req || dir_req

#block表示阻止请求，返回403错误，当前表示如果不满足策略file_req，或者满足策略dir_req，则阻止请求

use_backend server_web if itnihao_web

#当满足itnihao_web的策略时使用server_web的backend

use_backend server_blog if itnihao_blog

#当满足itnihao_blog的策略时使用server_blog的backend

#redirect prefix http://blog.itniaho.cn code 301 if itnihao

#当访问itnihao.cn的时候，用http的301挑转到http://192.168.16.3

default_backend server_bbs

#以上都不满足的时候使用默认server_bbs的backend

##########backend的设置##############

#下面我将设置三组服务器 server_web，server_blog，server_bbs

#############backend server_web##############

backend server_web

mode http #http的7层模式

balance roundrobin #负载均衡的方式，roundrobin平均方式

cookie SERVERID #允许插入serverid到cookie中，serverid后面可以定义

option httpchk GET /index.html #心跳检测的文件

server web1 192.168.16.2:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1

#服务器定义，cookie 1表示serverid为web1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，

#fall 3是3次失败认为服务器不可用，weight代表权重

server web2 192.168.16.3:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2

#服务器定义，cookie 1表示serverid为web2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，

#fall 3是3次失败认为服务器不可用，weight代表权重

##############backend server_blog##############

backend server_blog

mode http #http的7层模式

balance roundrobin #负载均衡的方式，roundrobin平均方式

cookie SERVERID #允许插入serverid到cookie中，serverid后面可以定义

option httpchk GET /index.html #心跳检测的文件

server blog1 192.168.16.2:80 cookie blog1 check inter 1500 rise 3 fall 3 weight 1

#服务器定义，cookie 1表示serverid为blog1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重

server blog2 192.168.16.3:80 cookie blog2 check inter 1500 rise 3 fall 3 weight 2

#服务器定义，cookie 1表示serverid为blog2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重

###########backend server_bbs#################

backend server_bbs

mode http #http的7层模式

balance roundrobin #负载均衡的方式，roundrobin平均方式

cookie SERVERID #允许插入serverid到cookie中，serverid后面可以定义

option httpchk GET /index.html #心跳检测的文件

server bbs1 192.168.16.2:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1

#服务器定义，cookie 1表示serverid为bbs1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重

server bbs2 192.168.16.3:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2

#服务器定义，cookie 1表示serverid为bbs2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重

***************************************

下面是keepalived的详细参数介绍

#全局定义部分

global_defs {

notification_email {

root@wsfnk.com#设置邮件报警地址，可以设置多个，每行一个

1123323230@qq.com

}

notification_email_from Alexandre.Cassen@firewall.loc#设置邮件的发送地址

smtp_server 192.168.200.1#设置smtp server

smtp_connect_timeout 30#设置连接smtp server的超时时间

router_id LVS_DEVEL#表示运行keepalived服务器的一个标示，发送邮件时显示在邮件主题中的信息

vrrp_skip_check_adv_addr

vrrp_strict

vrrp_garp_interval 0

vrrp_gna_interval 0

}

vrrp_script chk_http_port {#定义一个检查haproxy的脚本

script "/root/check_haproxy.sh"

interval 2

weight 2

}

#vrrp实例定义部分

vrrp_instance VI_1 {

state MASTER#指定角色为主MASTER，备为BACKUP

interface eth0#指定HA监测网络的接口,注意网络设备的名字，要与系统一致

virtual_router_id 51#虚拟路由标示，这个标示是一个数字，同一个vrrp实例使用唯一的标示

priority 100#主权值必须设得比 back 高，数字越大越高

advert_int 1#设定keepalived-master与备节点的心跳间隔时间，单位是秒

authentication {#设置验证类型和密码

auth_type PASS#设置验证类型，由PASS与HA两种

auth_pass 1111#设置验证密码，同一vrrp实例下，keepalived-master与backup节点必须使用相同的密码才能正常通信

}

track_script {#调用上面定义检查haproxy的脚本

chk_http_port

}

virtual_ipaddress {#设置虚拟ip，可以设置多个虚拟的vip，每行一个

192.168.200.16

192.168.200.18

}

}

#虚拟服务器定义部分

virtual_server 192.168.200.100 443 {#设置虚拟服务器，需要指定虚拟ip，端口，用空格分开

delay_loop 6#设置运行情况检查时间间隔，单位是秒

lb_algo rr#设置负载调度算法，rr是轮询算法

lb_kind NAT#设置lvs实现负载均衡的机制，有NAT，TUN，DR

persistence_timeout 50#会话保持时间，单位是秒，这个选项对动态网页非常有用，为集群中的session共享提供了一个很好的解决方案

#有了这个会话保持功能，用户的请求会被一直分发到一台服务器上，直到超过这个会话保持时间，需要注意的是

#这个会话保持时间是最大无响应超时时间，也就是说，用户在操作动态页面时，如果在50秒内没有执行任何操作

#那么就会认为超时，以后的操作会被分发到别的节点上，以此类推

protocol TCP#指定转发的协议类型，有TCP，UDP两种

real_server 192.168.201.100 443 {#配置服务节点1，需要指定real_server的真实ip，端口

weight 1#配置权重，数字越大，权重越高，性能好的服务器可以设大些

SSL_GET {

url {

path /

digest ff20ad2481f97b1754ef3e12ecd3a9cc

}

url {

path /mrtg/

digest 9b3a0c85a887a256d6939da88aabd8cd

}

connect_timeout 3#存活检测，表示3秒内无响应超时，单位是秒

nb_get_retry 3#表示检测次数

delay_before_retry 3#表示检测的时间间隔

}

}

}

virtual_server 10.10.10.3 1358 {

delay_loop 3

lb_algo rr

lb_kind NAT

persistence_timeout 50

protocol TCP

real_server 192.168.200.4 1358 {

weight 1

HTTP_GET {

url {

path /testurl/test.jsp

digest 640205b7b0fc66c1ea91c463fac6334d

}

url {

path /testurl2/test.jsp

digest 640205b7b0fc66c1ea91c463fac6334d

}

url {

path /testurl3/test.jsp

digest 640205b7b0fc66c1ea91c463fac6334d

}

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

}

}

real_server 192.168.200.5 1358 {

weight 1

HTTP_GET {

url {

path /testurl/test.jsp

digest 640205b7b0fc66c1ea91c463fac6334d

}

url {

path /testurl2/test.jsp

digest 640205b7b0fc66c1ea91c463fac6334d

}

url {

path /testurl3/test.jsp

digest 640205b7b0fc66c1ea91c463fac6334d

}

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

}

}

}