LVS/DR模式实施

1、准备工作（集群中所有主机）关闭防火墙和selinux

[root@lvs-server ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.86.100 lvs-server
192.168.86.147 real-server1
192.168.86.149 real-server2

2、Director分发器配置

配置VIP

[root@lvs-server ~]# ip addr add dev ens33 192.168.86.100/32 #设置VIP
[root@lvs-server ~]# yum install -y ipvsadm   #RHEL确保LoadBalancer仓库可用
[root@lvs-server ~]# service ipvsadm start  #启动
注意:启动如果报错: /bin/bash: /etc/sysconfig/ipvsadm: 没有那个文件或目录
需要手动生成文件
[root@lvs-server ~]# ipvsadm --save > /etc/sysconfig/ipvsadm

定义LVS分发策略

-A：添加VIP
-t：用的是tcp协议
-a：添加一条real server 记录，添加的是lo的vip地址
-r：转发到real-serve rip
-s：算法
-L|-l –list #显示内核虚拟服务器表
--numeric, -n：#以数字形式输出地址和端口号
-g --gatewaying #指定LVS工作模式为直接路由器模式（也是LVS默认的模式）
-S -save #保存虚拟服务器规则到标准输出，输出为-R 选项可读的格式
rr：轮循
如果添加ip错了，删除命令如下:
# ip addr del 192.168.86.100 dev ens33

# 添加算法策略
[root@lvs-server ~]# ipvsadm -A -t 192.168.86.100:80 -s rr 

# 添加一台 real server，并使用直接路由模式
[root@localhost ~]# ipvsadm -a -t 192.168.86.100:80 -r 192.168.86.147 -g
[root@localhost ~]# ipvsadm -a -t 192.168.86.100:80 -r 192.168.86.149 -g

[root@lvs-server ~]# ipvsadm -S > /etc/sysconfig/ipvsadm  
[root@lvs-server ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.86.100:80 rr
  -> 192.168.86.147:80           Route   1      0          0         
  -> 192.168.86.149:80           Route   1      0          0         
[root@lvs-server ~]# ipvsadm -L -n 
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.86.100:80 rr
  -> 192.168.86.147:80           Route   1      0          0         
  -> 192.168.86.149:80           Route   1      0          0   
[root@lvs-server ~]# ipvsadm -L -n --stats    #显示统计信息
1. Conns    (connections scheduled)  已经转发过的连接数
2. InPkts   (incoming packets)       入包个数
3. OutPkts  (outgoing packets)       出包个数
4. InBytes  (incoming bytes)         入流量（字节）  
5. OutBytes (outgoing bytes)         出流量（字节）
[root@lvs-server ~]# ipvsadm -L -n --rate	#看速率
1. CPS      (current connection rate)   每秒连接数
2. InPPS    (current in packet rate)    每秒的入包个数
3. OutPPS   (current out packet rate)   每秒的出包个数
4. InBPS    (current in byte rate)      每秒入流量（字节）
5. OutBPS   (current out byte rate)      每秒出流量（字节）

3、所有RS配置

配置好网站服务器，测试所有RS #为了测试效果，提供不同的页面（以下两台real-server都操作）

[root@real-server1 ~]# yum install -y nginx
[root@real-server1 ~]# echo "real-server1" >> /usr/share/nginx/html/index.html
两台机器都安装，按顺序添加不同的主机名以示区分
[root@real-server1 ~]# ip addr add dev lo 192.168.122.100/32   #在lo接口上绑定VIP
[root@real-server1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore  #忽略arp广播
[root@real-server1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce #匹配精确ip地址回包
[root@real-server1 ~]# systemctl start nginx 
[root@real-server1 ~]# systemctl enable  nginx 
===================================================================
因为：realServer的vip有了，接着就是同一个网段中拥有两个vip, 客户端在网关发送arp广播需找vip时需要让realServer不接受响应.  
解决：
echo 1 >/proc/sys/net/ipv4/conf/all(网卡)/arp_ignore 
arp_ignore 设置为1，意味着当别人的arp请求过来的时候，如果接收的设备（eth0）没有这个ip，就不做出响应(这个ip在lo上，lo不是接收设备的进口)
也就是不响应非本网卡上的arp请求。
echo 2 >/proc/sys/net/ipv4/conf/all(网卡)/arp_announce   
使用最好的ip来回应，什么是最好的ip？同一个网段内子网掩码最长的

4、删除配置

[root@localhost ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.86.100:80 rr
  -> 192.168.86.147:80            Route   1      0          3
  -> 192.168.86.149:80            Route   1      0          4

[root@localhost ~]# ipvsadm -d -t 192.168.86.100:80 -r 192.168.86.147:80    #删除单个
[root@localhost ~]# ipvsadm -d -t 192.168.86.100:80    #删除全部

[root@webserver2 ngiox]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet 192.168.86.100/32 scope global lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:d7:8f:c4 brd ff:ff:ff:ff:ff:ff
    inet 192.168.86.147/24 brd 192.168.86.255 scope global noprefixroute dynamic ens33
       valid_lft 1753sec preferred_lft 1753sec
    inet6 fe80::4667:3492:f595:5de5/64 scope link noprefixroute
       valid_lft forever preferred_lft forever
[root@webserver2 ngiox]# ip addr del 192.168.86.100 dev lo

arp_ignore参数的作用是控制系统在收到外部的arp请求时，是否要返回arp响应。

arp_ignore参数常用的取值主要有0，1，2，3~8较少用到：

0：响应任意网卡上接收到的对本机IP地址的arp请求（包括环回网卡上的地址），而不管该目的IP是否在接收网卡上。

1：只响应目的IP地址为接收网卡上的本地地址的arp请求。

2：只响应目的IP地址为接收网卡上的本地地址的arp请求，并且arp请求的源IP必须和接收网卡同网段。

3：如果ARP请求数据包所请求的IP地址对应的本地地址其作用域（scope）为主机（host），则不回应ARP响应数据包，如果作用域为全局（global）或链路（link），则回应ARP响应数据包。

4~7：保留未使用

8：不回应所有的arp请求

4、测试

[root@client ~]# yum -y install elinks.x86_64
[root@client ~]# elinks -dump http://192.168.122.100
-dump			#非交互式模式