keepalived整合lvs实现nginx高可用负载均衡

1.简介

LVS(Linux Virtual Server) 是Linux虚拟服务器，可以把多台服务器虚拟为一个虚拟IP，同时实现各种负载均衡算法

Keepalived是基于LVS，并与LVS高度融合的，监控LVS下所有真实服务器健康状态，并通过健康健康状态动态调整LVS的复杂均衡转发权重和规则


2，拓扑图

193952209.jpg


3，IP规划

名称
IP
备注
VIP
eth2:192.168.46.200/24
虚拟IP
主调度器（director server ）
eth2:192.168.46.131/24负责lvs调度
辅调度器（director server ）
eth2:192.168.46.132/24负责lvs调度

真实服务器1

（Real Server ）

eth2:192.168.46.133/24nginx服务器

真实服务器2

（Real Server ）

eth2:192.168.46.134/24nginx服务器


4，安装lvs和keepalived包

这里不在介绍了，大家可以看看我的另外的两篇文章

1
2
http: //wolfword.blog.51cto.com/blog/4892126/1218416
http: //wolfword.blog.51cto.com/blog/4892126/1217585


5，配置keepalived

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
主调度器 192.168 . 46.131 上安装keepalived，辅助调度器 192.168 . 46.132 上安装keepalived，不需要在real server上安装keepalived
vim   /etc/keepalived/keepalived.conf
global_defs {
   notification_email {
   root@localhost
   }
   notification_email_from  root@localhost
   smtp_server  127.0 . 0.1
   smtp_connect_timeout  30
   router_id LVS_DEVEL_131
}
vrrp_sync_group VG1 {
        group {
               VI_1
        }
}
vrrp_instance VI_1 {
   state MASTER    //辅助调度器为BACKUP
   interface  eth2
   virtual_router_id  51
   priority  100   //辅助调度器为90
   advert_int  1
   authentication {
     auth_type PASS
     auth_pass  1111
   }
   virtual_ipaddress {
     192.168 . 46.200 / 24
   }
}
virtual_server  192.168 . 46.200   80   {
    delay_loop  6
    lb_algo  rr
    lb_kind  DR
    protocol TCP
    real_server  192.168 . 46.133  80  {
    weight  100
    TCP_CHECK {
     connect_timeout   3
     nb_get_retry   3
     delay_beforce_retry   3
      connect_port   80
    }
}
    real_server  192.168 . 46.134  80  {
     weight   100
     TCP_CHECK {
       connect_timeout  3
       nb_get_retry  3
       delay_beforce_retry   3
       connect_port   80
     }
   }
}

6，配置lvs

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
主辅调度器上的lvs脚本
#!/bin/bash
VIP= 192.168 . 46.200
RIP1= 192.168 . 46.133
RIP2= 192.168 . 46.134
case  "$1"  in
start)
echo  "start LVS of DirectorServer DR"
/sbin/iptables -F
/sbin/ipvsadm -C
/sbin/ifconfig eth2: 0  $VIP  broadcast $VIP  netmask  255.255 . 255.0   up
/sbin/ipvsadm  -A -t $VIP: 80   -s rr
/sbin/ipvsadm  -a -t $VIP: 80   -r  $RIP1 -g
/sbin/ipvsadm  -a -t $VIP: 80   -r  $RIP2 -g
/sbin/ipvsadm
;;
stop)
echo  "stop  LVS of DirectorServer DR"
echo  "0"  >/proc/sys/net/ipv4/ip_forward
/sbin/ipvsadm -C
/sbin/ifconfig eth2: 0  down
;;
*)
echo  "argements error"
;;
esac
真实服务器real server  上的lvs脚本
#!/bin/bash
#DR server
VIP= 192.168 . 46.200
case  "$1"  in
start)
echo  "start LVS of DR"
/sbin/ifconfig lo: 0  $VIP broadcast $VIP netmask  255.255 . 255.255  up
/sbin/route add  -host  $VIP dev lo: 0
echo  "1"  > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo  "2"  > /proc/sys/net/ipv4/conf/lo/arp_announce
echo  "1"  > /proc/sys/net/ipv4/conf/all/arp_ignore
echo  "2"  > /proc/sys/net/ipv4/conf/all/arp_announce
;;
stop)
echo  "stop LVS of DR"
/sbin/ifconfig lo: 0  down
echo  "0"  > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo  "0"  > /proc/sys/net/ipv4/conf/lo/arp_announce
echo  "0"  > /proc/sys/net/ipv4/conf/all/arp_ignore
echo  "0"  > /proc/sys/net/ipv4/conf/all/arp_announce
;;
*)
echo  "Usage:$0 {start|stop}"
esac
exit  1


7，日志讲解

1
2
3
4
5
6
7
8
Sep  30  20 : 50 : 24  test2 Keepalived_vrrp: Opening file  '/etc/keepalived/keepalived.conf' .
Sep  30  20 : 50 : 24  test2 Keepalived_vrrp: Configuration  is  using :  65227  Bytes
Sep  30  20 : 50 : 24  test2 Keepalived_vrrp: Using LinkWatch kernel netlink reflector...
Sep  30  20 : 50 : 24  test2 Keepalived_vrrp: VRRP_Instance(VI_1) Entering BACKUP STATE
Sep  30  20 : 50 : 24  test2 Keepalived_vrrp: VRRP sockpool: [ifindex( 4 ), proto( 112 ), fd( 10 , 11 )]
Sep  30  20 : 51 : 50  test2 Keepalived_vrrp: VRRP_Instance(VI_1) Transition to MASTER STATE
Sep  30  20 : 51 : 50  test2 Keepalived_vrrp: VRRP_Group(VG1) Syncing instances to MASTER state
Sep  30  20 : 51 : 51  test2 Keepalived_vrrp: VRRP_Instance(VI_1) Entering MASTER STATE


8，功能测试

停掉主调度器keepalived服务，来看看辅助调度器上的日志

1
2
3
4
5
6
7
Oct   1  21 : 02 : 07  test2 avahi-daemon[ 4276 ]: Received response from host  192.168 . 139.1  with  invalid source port  56132  on  interface  'eth1.0'
Oct   1  21 : 02 : 09  test2 avahi-daemon[ 4276 ]: Received response from host  192.168 . 139.1  with  invalid source port  56132  on  interface  'eth1.0'
Oct   1  21 : 02 : 09  test2 Keepalived_vrrp: VRRP_Instance(VI_1) Transition to MASTER STATE
Oct   1  21 : 02 : 10  test2 Keepalived_vrrp: VRRP_Instance(VI_1) Entering MASTER STATE
Oct   1  21 : 02 : 10  test2 Keepalived_vrrp: VRRP_Instance(VI_1) setting protocol VIPs.
Oct   1  21 : 02 : 10  test2 Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth2  for  192.168 . 46.200
Oct   1  21 : 02 : 11  test2 avahi-daemon[ 4276 ]: Received response from host  192.168 . 139.1  with  invalid source port  56132  on  interface  'eth1.0'