DR模式和Keepalived

DR模式和Keepalived

lvs的三种模式：nat（地址转换）、DR（直接路由模式）、tun（隧道模式）

一、DR模式

1.1 DR模式

调度器依然负责接收请求，同时也根据负载均衡算法转发流量到RS，响应直接由RS响应给客户端

调度器在整个lvs集群当中是最重要的，在nat模式下，即负责接受请求，同时根据负载均衡的算法转发流量，响应发送给客户端

1.2 直接路由

直接路由（Direct Routing）是一种二层转发模式，二层转发的是数据帧，根据源mac地址和目的mac地址进行转发。不会修改数据包的源ip和目的ip，根据数据包mac地址进行转发

DR模式下，lvs也是维护一个虚拟的ip地址，所有请求都是发送到这个vip，既然是走二层转发，当客户端请求到达调度之后，根据负载均衡的算法选择一个RS，修改vip服务器的目的mac变成RS的mac地址，RS处理完请求之后，根据报文当中，客户端的源mac地址直接把响应发送到客户端即可，不需要走调度器

1.3 数据流向

1.4 特点

1、调度器的ip地址和RS的ip要在同一网段，数据才能进行二层转发

2、RS是一个公网地址，互联网可以直接访问RS的地址（不用）

3、DR模式是走内核转发，内核来判断数据包的地址，根据RS的地址把数据包重新封装（直接修改mac地址）

4、调度器的地址只可以作为集群访问的接口，不可以作为网关

5、所有的RS上的lo（本地回环地址）都要配置vip地址

1.5 调度器配置

1、调度器配置了vip，RS上也配置了vip地址，vip地址冲突，调度器的RS都在同一网段，ARP通信紊乱，因为是整个局域网广播，所有的设备都收到了，怎么把lo这个回环的响应屏蔽掉？只有本机的物理ip响应

答：修改内核参数：arp_ignore=1

作用：系统的物理ip地址才会响应ARP请求，lo不会响应ARP请求

2、返回报文时，vip地址还在，怎么样能让客户端来接收到响应？

答：arp_announce=2

作用：系统不使用ip数据包的源地址来响应arp请求，直发送物理接口的ip地址

1.6 节点服务器的配置

1.7 DR模式的实现

nginx1 RS1 192.168.100.11

nginx2 RS2 192.168.100.12

vip 192.168.100.100

test1 调度器 192.168.100.13

test2 客户端 192.168.100.14

#test1#
modprobe ip_vs
cat /proc/net/ip_vs
yum -y install ipvsadm* -y

2、创建vip网卡
cd /etc/sysconfig/network-scripts
vim ifcfg-ens33:0
添加
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.100.100
NETMASK=255.255.255.255
wq!

ifup ens33:0

vim /etc/sysctl.conf
添加
net.ipv4.ip_forward=0
# 关闭数据包转发功能
net.ipv4.conf.all.send_redirects=0
# 禁止系统发送icmp重定向的消息
net.ipv4.conf.default.send_redirects=0
# 禁止默认网络接口发送icmp重定向消息
net.ipv4.conf.ens33.send_redirects=0
# 针对ens33设备，禁止发送icmp重定向消息
wq!

sysctl -p

cd /opt
ipvsadm -C
ipvsadm -ln
ipvsadm-save > /etc/sysconfig/ipvsadm
ipvsadm -A -t 192.168.100.100:80 -s rr
ipvsadm -a -t 192.168.100.100:80 -r 192.168.100.11:80 -g
ipvsadm -a -t 192.168.100.100:80 -r 192.168.100.12:80 -g
systemctl restart ipvsadm


#nginx1和nginx2#
vim /usr/local/nginx/html/index.html
this is nginx1
wq!
systemctl restart nginx

#nginx1和nginx2#
cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0
# DEVICE=lo:0  IPADDR=192.168.100.100  NETMASK=255.255.255.255
ifup lo:0
ifconfig

route add -host 192.168.100.100 dev lo:0

vim /etc/sysctl.conf
添加
net.ipv4.conf.lo.arp_ignore = 1
# 设置回环接口忽略来自任何接口的ARP请求
net.ipv4.conf.lo.arp_announce = 2
#设置回环地址仅仅公共本地的ip地址，但是不响应ARP请求
net.ipv4.conf.all.arp_ignore = 1
# 设置所有接口忽略来自任何接口的ARP请求
net.ipv4.conf.all.arp_announce = 2
#设置所有接口仅仅公告本地的ip地址，但是响应ARP请求
wq！

sysctl -p

#test2客户端#
curl 192.168.100.100
this is nginx1和this is nginx2交替出现

#nginx1和nginx2的访问日志#
tail -f /usr/local/nginx/logs/access.log

route add-host 192.168.100.100 dev lo:0
# 设置ip地址为192.168.100.100的添加到回环接口，作为lvs的vip，通过路由的模式转发到RS（能让vip地址识别到）

1.8 lvs三种工作模式

	NAT	DR（最重要）	TUN
优点	地址转换、配置简单	性能最好	WAN，可以实现较远距离的数据包传送
缺点	性能瓶颈	不支持跨网段	专用的通道，需要开通vpn（花钱）
RS的要求	无限制	必须要禁止非物理接口的ARP响应	要支持隧道模式
RS的数量	10~20台	100台	100台

1.9 修改vip的轮巡算法

ipvsadm -ln
ipvsadm -E -t 192.168.100.100:80 -s -wrr
ipvsadm -e -t 192.168.100.100:80 -r 1921.68.100.11:80 -w 3
ipvsadm -ln

面试题：

1、简述lvs的三种模式和他们的区别

2、Keepalive的脑裂怎么解决

二、Keepalived

1.1 lvs集群当中的高可用架构

只是针对调度器的高可用，基于vrrp来实现调度器的主和备

1.2 高可用的HA架构

主调度器和备调度器（多台）

在主调度器正常工作的时候，备完全处于冗余状态（待命）不参与集群的运转，只有当主调度器出现故障时，备才会承担主调度器的工作，主调度器恢复功能1之后，主又会成为主，主继续作为集群的入口，备继续处于冗余状态（取决于优先级）

1.3 keepalive基于vrrp协议来实现lvs高可用的方案

1、组播地址：

224.0.0.18根据组播地址来进行通信，主和备直接发送报文，确定对方是否存活

2、根据优先级的大小来确定主和备的位置

3、故障切换，主挂了，备来继续工作，主恢复了，备继续等待

4、主和备之间的切换是vip地址的切换，

keepalive专门为了lvs而出现的，但是不是lvs专用的

1.4 实验2

要求：

lvs和nginx做负载均衡的区别：
lvs 四层代理 也可以是七层代理

lvs（DR模式）+nginx+tomcat

lvs实现四层转发+nginx实现七层转发（动态）

访问lvs的vip地址可以实现动静分离

test1 调度器 192.168.100.11

vip 192.168.100.100

nginx1 192.168.100.12

nginx2 192.168.100.13

tomcat1 192.168.100.15

tomcat2 192.168.100.16

客户机 192.168.100.14

yum -y install ipvs

keep

core模块：keepalived的核心模块，负责主进程的启动，维护以及全局配置文件的加载

vrrp模块：实现vrrp协议的模块，也就是主功能模块

check模块：负责健康检查，也可以负责检查后台真实服务器的情况

修改global修改为
smtp_server 127.0.0.1
#第十二行 主和备的router_id 不可以一样
#第十四行vrrp strict如果是注释的需要取消掉
#22行，主备id必须要保持一致
#23行，优先级，主的要比备高
#29行 是集群的vip地址，使用192.168.100.100
#34行，修改为192.168.100.100 80
#37行 改成大写的DR
#41行 修改为 192.168.100.11 80
#32行weight 1下添加
TCP_CHECK {
    connect_port 80
    connect_timeout 3
    nb_get_retry 3
    delay_befroe_retry 4
}

wq!
systemctl restart keepalived
ip addr #查看网卡命令

0.100
#34行，修改为192.168.100.100 80
#37行 改成大写的DR
#41行 修改为 192.168.100.11 80
#32行weight 1下添加
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_befroe_retry 4
}

wq!
systemctl restart keepalived
ip addr #查看网卡命令