keepalived+haproxy实现高可用和负载均衡

随着用户量的上升，系统需要使用keepalived，haproxy和VIP来实现负载均衡

其中keepalived主要实现了高可用，在一台haproxy机器当机之后可以立即切换到备用机以保证集群的高可用性。

很多同学可能会有疑问，为啥不选用nginx？这里主要是出于以下几种情况综合考虑得出的结论

1.Nginx是工作在网络的7层之上，不支持TCP协议的转发，1.9 以后可以通过stream模块实现了tcp代理功能但是稳定性还是有所欠缺。而公司现有的系统有部分协议是ICE的因此如果不支持TCP协议改动会比较大。

2.Nginx不支持健康检查，虽然后来淘宝出了个nginx_upstream_check_module但是需要额外安装插件，另外这个插件也只是支持http的不支持TCP的。所以有一定的局限性。

*什么是健康检查？简单来说就是负载均衡服务器定时调用负载服务器某个HTTP接口或ping一下tpc端口检查服务是否可用。这个对实现系统高可用非常有用，健康检测可以自定义脚本来检测后端服务，这有利于那些经常出现假死，无法通过常规判断端口来检测后台是否正常的问题。 比如，RabbitMQ,业务程序自定义检查等。目前HA支持3种形式检查

1）通过监听端口进行健康检测 。这种检测方式，haproxy只会去检查后端server的端口，并不能保证服务的真正可用。

例如：

listen http_proxy 0.0.0.0:80
        mode http
        cookie SERVERID
        balance roundrobin
        option httpchk
        server web1 192.168.1.1:80 cookie server01 check
        server web2 192.168.1.2:80 cookie server02 check inter 500 rise 1 fall 2

2)通过URI获取进行健康检测 。检测方式，是用过去GET后端server的的web页面，基本上可以代表后端服务的可用性。

listen http_proxy 0.0.0.0:80
        mode http
        cookie SERVERID
        balance roundrobin
        option httpchk GET /index.html
        server web1 192.168.1.1:80 cookie server01 check
        server web2 192.168.1.2:80 cookie server02 check inter 500 rise 1 fall 2

3）通过request获取的头部信息进行匹配进行健康检测 。这种检测方式，则是基于高级，精细的一些监测需求。通过对后端服务访问的头部信息进行匹配检测。 

listen http_proxy 0.0.0.0:80
        mode http
        cookie SERVERID
        balance roundrobin
        option httpchk HEAD /index.jsp HTTP/1.1\r\nHost:\ www.xxx.com
        server web1 192.168.1.1:80 cookie server01 check
        server web2 192.168.1.2:80 cookie server02 check inter 500 rise 1 fall 2

3.haproxy内置负载监控界面，可以很清晰看到负载情况。

这里并不是说Nginx比不上Haproyx只是相对而言Haproxy提供我们想要的功能，而且无需安装其它插件，相对而言比较简单。因此综合考虑我们决定采用Haproyx+keepalive实现高可用。

 

下图就是整个负载均衡的架构图：

Haproxy安装：

#下载
#http://www.haproxy.org/download/1.7/src/haproxy-1.7.8.tar.gz
#cd /data/nfs/download
#yum install gcc gcc-c++ autoconf automake -y

#安装haproxy
tar -axf haproxy-* && cd ./haproxy-*
make TARGET=linux2628 ARCH=x86_64 PREFIX=/usr/local/haproxy
make install PREFIX=/usr/local/haproyx
安装成功后，查看版本
/usr/local/haproyx/sbin/haproxy -v

复制haproxy文件到/usr/sbin下 
因为下面的haproxy.init启动脚本默认会去/usr/sbin下找，当然你也可以修改，不过比较麻烦。

cp /usr/local/haproxy/sbin/haproxy /usr/sbin/

复制haproxy脚本，到/etc/init.d下

cp ./examples/haproxy.init /etc/init.d/haproxy
chmod 755 /etc/init.d/haproxy


创建系统账号

useradd -r haproxy

创建配置文件

mkdir /etc/haproxy
vi /etc/haproxy/haproxy.cfg
在配置文件haproxy.cfg中添加如下设置：

#全局配置
global
    #设置日志
    log 127.0.0.1 local3 info
    chroot /usr/local/haproxy
    #用户与用户组
    user haproxy
    group haproxy
    #守护进程启动
    daemon
    #最大连接数
    maxconn 4000

#默认配置
defaults
    log global
    mode http
    option httplog
    option dontlognull
    timeout connect 5000
    timeout client 50000
    timeout server 50000

#前端配置，http_front名称可自定义
frontend http_front
    # 发起http请求道80端口，会被转发到设置的ip及端口
    bind *:80
    #haproxy的状态管理页面，通过/haproxy?stats来访问
    stats uri /haproxy?stats
    default_backend http_back

#后端配置，http_back名称可自定义
backend http_back
    #负载均衡方式
    #source 根据请求源IP
    #static-rr 根据权重
    #leastconn 最少连接者先处理
    #uri 根据请求的uri
    #url_param 根据请求的url参数
    #rdp-cookie 据据cookie(name)来锁定并哈希每一次请求
    #hdr(name) 根据HTTP请求头来锁定每一次HTTP请求
    #roundrobin 轮询方式
    balance roundrobin
    #设置健康检查页面
    option httpchk GET /index.html
    #传递客户端真实IP
    option forwardfor header X-Forwarded-For
    # inter 2000 健康检查时间间隔2秒
    # rise 3 检测多少次才认为是正常的
    # fall 3 失败多少次才认为是不可用的
    # weight 30 权重
    # 需要转发的ip及端口
    server node1 192.168.179.131:8081 check inter 2000 rise 3 fall 3 weight 30
    server node2 192.168.179.131:8082 check inter 2000 rise 3 fall 3 weight 30
 

 

keepalive安装

yum -y install keepalived
vim /etc/keepalived/keepalived.conf

global_defs {

    notification_email {  

     root@localhost  

   }  

   notification_email_from root@localhost  

   smtp_server localhost  

   smtp_connect_timeout 30  

   router_id  NodeA 

}

 

 

vrrp_instance VI_1 {  

    state MASTER   #指定A节点为主节点 备用节点上设置为BACKUP即可  

    interface eth0   #绑定虚拟IP的网络接口  

    virtual_router_id 51  #VRRP组名，两个节点的设置必须一样，以指明各个节点属于同一VRRP组  

    priority 100   #主节点的优先级（1-254之间），备用节点必须比主节点优先级低  

    advert_int 1   #组播信息发送间隔，两个节点设置必须一样  

    authentication {   #设置验证信息，两个节点必须一致  

        auth_type PASS  

        auth_pass 1111  

    }  

    virtual_ipaddress {   #指定虚拟IP, 两个节点设置必须一样  

        192.168.1.220

    }  

}

interface eth0  这个的网卡名称一定别弄错了，要弄成自己的。可以使用 ip a 命令查看

启动keepalive

/etc/init.d/keepalived start

 

 

 

 

 

 

转载于:https://my.oschina.net/u/731542/blog/3083132