1、LVS DR模式搭建
- 在生产环境用中的比较多的是DR模式,NAT模式有瓶颈,节省公网IP,对小公司来说公网IP也是花钱的,如果是配置的多台机器,每台机器都去配置一个公网IP就是很浪费资源的情况,而且当下公网IP越来越少;
- 另一种方案,搭建内部的lvs,全部都用内网,包括VIP也用内网,用一个公网IP做一个映射;公网的80端口映射到内网VIP的80端口,这样可以节省IP
准备工作
DR模式,准备三台机器,只需要有有一个网卡,一个IP 分发器,也叫调度器(简写为dir)222.110 rs1 222.111 rs2 222.112 vip 222.115 vip绑定在所有的机器上,不仅分发器需要绑定,还有rs需要绑定
- 在dir分发器(即A机器)上编写脚本,在/usr/local/sbin/lvs_dr.sh编辑
#! /bin/bash echo 1 > /proc/sys/net/ipv4/ip_forward #打开端口转发 ipv=/usr/sbin/ipvsadm //#这是一个变量 vip=192.168.222.115 rs1=192.168.222.111 rs2=192.168.222.112 #注意这里的网卡名字 ifdown ens33 ifup ens33 ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up //给一个网卡设置一个虚拟网卡 route add -host $vip dev ens33:2 $ipv -C $ipv -A -t $vip:80 -s wrr $ipv -a -t $vip:80 -r $rs1:80 -g -w 1 //#这里-g 指定DR模式 $ipv -a -t $vip:80 -r $rs2:80 -g -w 1
- 启动分发器上的脚本
[root@aminglinux ~]# sh /usr/local/sbin/lvs_dr.sh 成功断开设备 'ens33'。 连接已成功激活(D-Bus 活动路径:/org/freedesktop/NetworkManager/ActiveConnection/5)
- 这里执行脚本出来的信息是没有错的,因为有ifdown ens33和ifup ens33重启网卡
- 在两台rs上写脚本(即B机器和C机器),在 /usr/local/sbin/lvs_rs.sh 编辑
[root@aming2 nginx]# vim /usr/local/sbin/lvs_rs.sh #/bin/bash vip=192.168.222.115 #把vip绑定在lo上,是为了实现rs直接把结果返回给客户端 ifdown lo ifup lo ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up route add -host $vip lo:0 #以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端 #参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
脚本定义/lo/arp_ignore和/all/arp_ignore的理解:
- arp_ignore:定义对目标地址为本地IP的ARP询问不同的应答模式0
- 0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求
- 1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求
- 2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内
- 3 - 不回应该网络界面的arp请求,而只对设置的唯一和连接地址做出回应
- 4-7 - 保留未使用
- 8 -不回应所有(本地地址)的arp查询
脚本定义/lo/arp_announce和/all/arp_announce的理解
-
arp_announce:对网络接口上,本地IP地址的发出的,ARP回应,作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口
-
0 - (默认) 在任意网络接口(eth0,eth1,lo)上的任何本地地址
-
1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.
-
2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.
-
执行B机器和C机器的脚本;查看一下两台rs的路由表
[root@aming2 nginx]# sh /usr/local/sbin/lvs_rs.sh [root@aming2 ~]# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.222.110 0.0.0.0 UG 100 0 0 ens33 192.168.222.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33 192.168.222.115 0.0.0.0 255.255.255.255 UH 0 0 0 lo
- 查看VIP是否已经绑在lo卡上
[root@aming2 ~]# ip add 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet 192.168.222.115/32 brd 192.168.222.115 scope global lo:0 valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever
测试: 用浏览器访问VIP:192.168.222.115,不断刷新访问,就会在两台rs上交互访问
[root@aminglinux ~]# ipvsadm -ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 192.168.222.115:80 wrr -> 192.168.222.111:80 Route 1 1 1 -> 192.168.222.112:80 Route 1 0 1
- 因为浏览器有缓存,所以没有办法及时的查看到lvs负载均衡的效果;但是通过刷新浏览器VIP地址,然后在dir机器是上查看ipvsadm的情况,可以发现,每一次刷新,ActiveConn都会有变化,刷新次数到一定数量是,InActConn也会产生变回,可见我们的实验是成功的
2、keepalived + LVS
- 完整架构需要两台服务器(角色为dir)分别安装keepalived软件,目的是实现高可用,但keepalived本身也有负载均衡的功能,所以本次实验可以只安装一台keepalived
- 为什么需要把keepalived 加到lvs 中的目的是什么?
- 原因一:lvs,它有个关键角色,就是dir分发器,如果分发器宕掉,那所有的访问就会被终止,因为所有的入口全都在dir分发器上,所以需要把分发器做一个高可用,用keepalived实现高可用,并且keepalived还有负载均衡的作用。
- 原因二:在使用lvs的时候,如果没有额外的操作,这时将一个rs机器关机(宕机)时,lvs照样会分发数据到这台宕机机器,这是就会出现访问无效的情况,说明lvs并不聪明;这时使用keepalived,就可以保证集群中其中一台rs宕机了,web还能正常提供,不会出现用户访问时无效链接的结果;一般这种架构,肯定是2台keepalived;
- 因为keepalived内置了ipvsadm的功能,所以不再需要安装ipvsadm的包,也不用再编写和执行.sh脚本
准备工作
dir(安装keepalived)222.110 rs1 222.111 rs2 222.112 vip 222.115
- 在dir分发器(A机器)上,清空ipvsadm规则,并查看ipvsadm规则是已经清空
[root@aminglinux ~]# ipvsadm -ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn
- 在分发器(即A机器)上编辑配置文件,在/etc/keepalived/keepalived.conf 配置;配置文件内容:https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/lvs_keepalived.conf
[root@aminglinux ~]# >/etc/keepalived/keepalived.conf //因为之前做实验里面编辑过配置文件,这时直接删除,然后粘贴新的配置文件 [root@aminglinux ~]# vim /etc/keepalived/keepalived.conf vrrp_instance VI_1 { #备用服务器上为 BACKUP state MASTER #绑定vip的网卡为ens33,你的网卡和阿铭的可能不一样,这里需要你改一下 interface ens33 virtual_router_id 51 #备用服务器上为90 priority 100 advert_int 1 authentication { auth_type PASS auth_pass aminglinux } virtual_ipaddress { 192.168.222.115 //vip 地址 } } virtual_server 192.168.222.115 80 { //vip 地址 #(每隔10秒查询realserver状态) delay_loop 10 #(lvs 算法) lb_algo wlc #(DR模式) lb_kind DR #(同一IP的连接60秒内被分配到同一台realserver) persistence_timeout 60 #(用TCP协议检查realserver状态) protocol TCP real_server 192.168.222.111 80 { //rs1机器 #(权重) weight 100 TCP_CHECK { #(10秒无响应超时) connect_timeout 10 nb_get_retry 3 delay_before_retry 3 connect_port 80 } } real_server 192.168.222.112 80 { //rs2机器 weight 100 TCP_CHECK { connect_timeout 10 nb_get_retry 3 delay_before_retry 3 connect_port 80 } } }
- 启动nginx服务,查看nginx进程,启动keepalived,查看keepalived服务
[root@aminglinux ~]# systemctl start nginx [root@aminglinux ~]# ps aux |grep nginx root 3618 0.3 0.2 120812 2092 ? Ss 22:38 0:00 nginx: master process /usr/sbin/nginx nginx 3619 0.0 0.3 121276 3128 ? S 22:38 0:00 nginx: worker process nginx 3620 0.0 0.3 121276 3128 ? S 22:38 0:00 nginx: worker process root 3622 0.0 0.0 112720 980 pts/0 S+ 22:38 0:00 grep --color=auto nginx [root@aminglinux ~]# systemctl start keepalived [root@aminglinux ~]# ps aux |grep keepalived root 3637 0.3 0.1 118652 1400 ? Ss 22:40 0:00 /usr/sbin/keepalived -D root 3638 0.3 0.3 127520 3332 ? S 22:40 0:00 /usr/sbin/keepalived -D root 3639 0.3 0.2 127388 2624 ? S 22:40 0:00 /usr/sbin/keepalived -D root 3641 0.0 0.0 112720 984 pts/0 S+ 22:40 0:00 grep --color=auto keepalived [root@aminglinux ~]#
- 查看IP,查看ipvsadm规则
[root@aminglinux ~]# ip add 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 00:0c:29:97:24:0e brd ff:ff:ff:ff:ff:ff inet 192.168.222.110/24 brd 192.168.222.255 scope global ens33 valid_lft forever preferred_lft forever inet 192.168.222.115/32 brd 192.168.222.115 scope global ens33:2 valid_lft forever preferred_lft forever inet6 fe80::effe:fc70:7a68:994c/64 scope link valid_lft forever preferred_lft forever 3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 00:0c:29:97:24:18 brd ff:ff:ff:ff:ff:ff inet 192.168.209.130/24 brd 192.168.209.255 scope global ens37 valid_lft forever preferred_lft forever inet6 fe80::b491:efb5:c6cc:ce72/64 scope link valid_lft forever preferred_lft forever [root@aminglinux ~]# ipvsadm -ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 192.168.222.115:80 wlc persistent 60 -> 192.168.222.111:80 Route 100 0 0 -> 192.168.222.112:80 Route 100 0 0
-
关闭keepalived服务,再来查看ip,会到虚拟IP停掉了;也没有启动规则;
-
启动keepalived,再来查看规则
-
在rs机器上创建的/usr/local/sbin/lvs_rs.sh脚本,然后执行
[root@aming3 ~]# vim /usr/local/sbin/lvs_rs.sh #/bin/bash vip=192.168.222.115 #把vip绑定在lo上,是为了实现rs直接把结果返回给客户端 ifdown lo ifup lo ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up route add -host $vip lo:0 #以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端 #参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
[root@aming3 ~]# sh /usr/local/sbin/lvs_rs.sh
测试: 浏览器上访问vip:192.168.222.115,刷新页面,会交互访问B和C的站点。当B或C宕机了,都能够访问至其他RS上去,业务不会中断。
[root@aminglinux ~]# ipvsadm -ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 192.168.222.115:80 wlc persistent 60 -> 192.168.222.111:80 Route 100 1 0
-
Keepalived+LVS作用
-
Keepalived搭建高可用保证LVS中director宕机后服务器不瘫痪:有2台或以上的Director
-
如果只使用LVS,那么当LVS架构中某个real server宕机后,director仍然会继续向其发送请求,添加Keepalived后会自动将宕机的real server清除出rs列表。