Mysql高可用负载集群-主主复制（五）

中间件说明

HAProxy
  HAProxy 是一个开源的高性能的反向代理或者说是负载均衡服务软件之一，它支持双机热备、虚拟主机、基于TCP和HTTP应用代理等功能。其配置简单，而且拥有很好的对服务器节点的健康检查功能（相当于 keepalived 健康检查），当其代理的后端服务器出现故障时，HAProxy 会自动的将该故障服务器摘除，当服务器的故障恢复后 HAProxy 还会自动将 RS 服务器。

HAProxy 特别适用于那些负载特大的 web 站点，这些站点通常又需要会话保持或七层处理。HAProxy 运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的 web 服务器不被暴露到网络上。

HAProxy 软件引入了 frontend，backend 的功能，frontend（acl规则匹配）可以根据任意HTTP请求头做规则匹配，然后把请求定向到相关的 backend（server pools等待前端把请求转过来的服务器组）。通过 frontend 和 backup，我们可以很容易的实现 HAProxy 的7层代理功能，HAProxy 是一款不可多得的优秀代理服务软件。

Keepalived
  Keepalived 是以 VRRP协议 为实现基础的，VRRP 全称 Virtual Router Redundancy Protocol，即虚拟路由冗余协议。

虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个 Master 和多个 Backup，Master 上面有一个对外提供服务的 vip（该路由器所在局域网内其他机器的默认路由为该 vip），Master 会发组播，当 Backup 收不到 vrrp 包时就认为 Master 宕掉了，这时就需要根据 VRRP 的优先级来选举一个 Backup 当 Master。这样的话就可以保证路由器的高可用了。

Keepalived 主要有三个模块，分别是 core、check 和 vrrp。core模块为 Keepalived 的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查，包括常见的各种检查方式。vrrp模块是来实现VRRP协议的。

1.HAProxy
安装

yum -y install haproxy

配置

vi /etc/haproxy/haproxy.cfg

global

    log         127.0.0.1 local2
    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon
    stats socket /var/lib/haproxy/stats

defaults
    mode                    tcp
    log                     global
    option                  dontlognull
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    maxconn                 600

# 配置查看负载信息管理页面
listen stats
    mode http
    bind :8888
    stats enable
    stats hide-version
    stats uri     /haproxyadmin?stats
    stats realm   Haproxy\ Statistics
    stats auth    admin:admin

# MySQL 负载配置
listen proxy-mysql
    bind 0.0.0.0:23306
    mode tcp
    balance roundrobin
    option tcplog
    #option mysql-check user haproxy
    server MySQL1 192.168.9.203:3306 check weight 1 maxconn 2000
    server MySQL2 192.168.9.202:13306 check weight 1 maxconn 2000
    option tcpka

注释：

global

    log         127.0.0.1 local2         //日志定义级别
    chroot      /var/lib/haproxy         //当前工作目录
    pidfile     /var/run/haproxy.pid     //进程id
    maxconn     4000                     //最大连接数
    user        haproxy                  //运行改程序的用户
    group       haproxy
    daemon                               //后台形式运行
    stats socket /var/lib/haproxy/stats

defaults
    mode                    tcp            //haproxy运行模式（http | tcp | health）
    log                     global
    option                  dontlognull
    option                  redispatch     //serverId对应的服务器挂掉后,强制定向到其他健康的服务器
    retries                 3              //三次连接失败则服务器不用
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s            //连接超时
    timeout client          1m             //客户端超时
    timeout server          1m             //服务器超时
    timeout http-keep-alive 10s
    timeout check           10s            //心跳检测
    maxconn                 600            //最大连接数

listen stats                               //配置haproxy状态页（用来查看的页面）
    mode http
    bind :8888
    stats enable
    stats hide-version                    //隐藏haproxy版本号
    stats uri     /haproxyadmin?stats     //一会用于打开状态页的uri
    stats realm   Haproxy\ Statistics     //输入账户密码时的提示文字
    stats auth    admin:admin             //用户名:密码

# MySQL 负载配置
listen proxy-mysql 
    bind 0.0.0.0:23306 # 监听端口
    mode tcp # 模式
    balance roundrobin # 负载均衡的方式，轮询（平均）方式
    option tcplog # 允许记录tcp 连接的状态和时间
    server MySQL1 192.168.9.203:3306 check weight 1 maxconn 2000
    server MySQL2 192.168.9.202:13306 check weight 1 maxconn 2000
    option tcpka # 是否允许向server和client发送keepalive

启动

systemctl restart haproxy
tail -f /var/log/messages  #出错时查看日志

查看

http://192.168.9.203:8888/haproxyadmin?stats
http://192.168.9.202:8888/haproxyadmin?stats     

安装 HAProxy 的步骤在两台设备相同。

2.Keepalived
安装

yum -y install keepalived

配置

vi /etc/keepalived/keepalived.conf
#简单的头部，这里主要可以做邮件通知报警等的设置，此处就暂不配置了；
global_defs {
        notificationd LVS_DEVEL
}
#预先定义一个脚本，方便后面调用，也可以定义多个，方便选择；
vrrp_script chk_haproxy {
    script "/etc/keepalived/chk.sh"  #具体脚本路径
    interval 2  #脚本循环运行间隔
}
#VRRP虚拟路由冗余协议配置
vrrp_instance VI_1 {   #VI_1 是自定义的名称；
    state BACKUP #MASTER表示是一台主设备，BACKUP表示为备用设备【我们这里因为设置为开启不抢占，所以都设置为备用】
    nopreempt      #开启不抢占
    interface ens33   #指定VIP需要绑定的物理网卡
    virtual_router_id 11   #VRID虚拟路由标识，也叫做分组名称，该组内的设备需要相同
    priority 121   #定义这台设备的优先级 1-254；开启了不抢占，所以此处优先级必须高于另一台

    advert_int 1   #生存检测时的组播信息发送间隔，组内一致
    authentication {    #设置验证信息，组内一致
        auth_type PASS   #有PASS 和 AH 两种，常用 PASS
        auth_pass asd    #密码
    }
    virtual_ipaddress {
        192.168.9.111    #指定VIP地址，组内一致，可以设置多个IP
    }
    track_script {    #使用在这个域中使用预先定义的脚本，上面定义的
        chk_haproxy
    }

    notify_backup "systemctl restart haproxy"   #表示当切换到backup状态时,要执行的脚本
    notify_fault "systemctl stop haproxy"     #故障时执行的脚本
}

state：如果是主机的话，值要写成 MASTER，备机写成 BACKUP
interface：物理机网卡名称，我的这个虚拟机上的现有网卡名称是 ens33
priority： 定义这台设备的优先级 1-254；备机小于主机 例：120
virtual_ipaddress：指定的虚拟 IP，可以设置多个，但是一定要是在当前网段，否则设置了也无法访问

编写脚本

vi /etc/keepalived/chk.sh
#!/bin/bash
#
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then
       systemctl stop keepalived
fi

chmod 755 /etc/keepalived/chk.sh

启动

systemctl restart keepalived

查看

[root@skx3 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:79:a9:4f brd ff:ff:ff:ff:ff:ff
    inet 192.168.9.203/24 brd 192.168.9.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet 192.168.9.111/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::4434:d83c:fc2e:c8d3/64 scope link tentative noprefixroute dadfailed 
       valid_lft forever preferred_lft forever
    inet6 fe80::e874:ac0e:dcff:56db/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

注：访问http://192.168.9.111:8888/haproxyadmin?stats

kill看到的pid

刷新页面查看结果（高可用）

重启杀死服务器的haproxy以及keepalived,刷新页面发现pid不变化(不抢占)

systemctl restart haprox
systemctl restart keepalived