②LVS 负载均衡集群企业级应用实战、LVS/DR 模式、LVS-NAT模式

LVS 负载均衡集群企业级应用实战

准备虚拟机

准备 3 台纯净的虚拟机，两台 web 服务器
LVS-server 安装lvs管理软件

yum -y install ipvsadm

程序包：ipvsadm（LVS管理工具）

主程序：/usr/sbin/ipvsadm

规则保存工具：/usr/sbin/ipvsadm-save > /path/to/file

配置文件：/etc/sysconfig/ipvsadm-config

LVS/DR 模式

实验说明：
1.虚拟机网络使用NAT模式
2.DR模式要求Director DIP 和 所有RealServer RIP必须在同一个网段及广播域
3.所有节点网关均指定真实网关

LVS/DR模式实施(部署)

准备工作（集群中所有主机）关闭防火墙和selinux 配置本地解析，三台都配置

cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
196.196.196.44 lvs-server
196.196.196.55 real-server1
196.196.196.66 real-server2

Director分发器配置

配置VIP这个自定义 不要跟真实ip冲突

ip addr add dev ens33 196.196.196.45/32#设置VIP

定义LVS分发策略

-A：添加VIP
-t：用的是tcp协议
-a：添加的是lo的vip地址
-r：转发到realserverip
-s：算法
-L|-l –list #显示内核虚拟服务器表
--numeric, -n：#以数字形式输出地址和端口号
-g --gatewaying #指定LVS工作模式为直接路由器模式DR（也是LVS默认的模式）
-S -save #保存虚拟服务器规则到标准输出，输出为-R 选项可读的格式
rr：轮循
如果添加ip错了，删除命令如下:
# ip addr del 192.168.246.193 dev ens33

[root@lvs-server ~]# ipvsadm -C  #清除内核虚拟服务器表中的所有记录。
ipvsadm -C
[root@ming-4 ~]# ipvsadm -A -t 196.196.196.45:80 -s rr
[root@ming-4 ~]# ipvsadm -a -t 196.196.196.45:80 -r 196.196.196.55 -g
[root@ming-4 ~]# ipvsadm -a -t 196.196.196.45:80 -r 196.196.196.66 -g
[root@ming-4 ~]#

保存方法

service ipvsadm save #保存方式一，使用下面的保存方式，版本7已经不支持了
ipvsadm -S > /etc/sysconfig/ipvsadm  #保存方式二，保存到一个文件中，建议使用这个

查看方法一

ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  196.196.196.45:80 rr
  -> 196.196.196.55:80            Route   1      0          0
  -> 196.196.196.66:80            Route   1      0          0
    

查看方法二

ipvsadm -L -n --stats    #显示统计信息
1. Conns    (connections scheduled)  已经转发过的连接数
2. InPkts   (incoming packets)       入包个数
3. OutPkts  (outgoing packets)       出包个数
4. InBytes  (incoming bytes)         入流量（字节）  
5. OutBytes (outgoing bytes)         出流量（字节）

查看方法三

ipvsadm -L -n --rate	#看速率
1. CPS      (current connection rate)   每秒连接数
2. InPPS    (current in packet rate)    每秒的入包个数
3. OutPPS   (current out packet rate)   每秒的出包个数
4. InBPS    (current in byte rate)      每秒入流量（字节）
5. OutBPS   (current out byte rate)      每秒出流量（字节）

RS配置

配置好网站服务器，测试所有RS #为了测试效果，提供不同的页面（以下两台real-server都操作）

yum install -y nginx
[root@real-server1 ~]# echo "real-server1" >> /usr/share/nginx/html/index.html
两台机器都安装，按顺序添加不同的主机名以示区分
[root@real-server1 ~]# ip addr add dev lo 196.196.196.45/32   #在lo接口上绑定VIP
[root@real-server1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore  #忽略arp广播
[root@real-server1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce #匹配精确ip地址回包
[root@real-server1 ~]# systemctl start nginx 
[root@real-server1 ~]# systemctl enable  nginx

因为：realServer的vip有了，接着就是同一个网段中拥有两个vip, 客户端在网关发送arp广播需找vip时需要让realServer不接受响应.
解决：
echo 1 >/proc/sys/net/ipv4/conf/eth0/arp_ignore
arp_ignore 设置为1，意味着当别人的arp请求过来的时候，如果接收的设备没有这个ip，就不做出响应(这个ip在lo上，lo不是接收设备的进口)
echo 2 >/proc/sys/net/ipv4/conf/eth0/arp_announce
使用最好的ip来回应，什么是最好的ip？同一个网段内子网掩码最长的

修改后端nginx服务器的长连接

vim /etc/nginx/nginx.conf

测试

http://196.196.196.45/

LVS-NAT模式:

查看linux已加载的内核模块

lsmod

加载与卸载内核模块

modprobe ip_vs      #动态加载ip_vs 模块，这个命令只是临时生效，需要添加到开机启动项目里面
[root@sql-review ~]# lsmod | grep ip_vs     #过滤模块是否加载成功！
[root@sql-review ~]# modprobe -r ip_vs      #动态卸载ip_vs模块

查看内核模块信息

modinfo ip_vs

设置开机启动项

echo "modprobe ip_vs" >> /etc/rc.local
[root@sql-review ~]# chmod +x /etc/rc.local     切记添加执行权限
添加到开机启动项里面如果不需要这个模块的时候只需要将etc/rc.local里面对应的命令删除掉。但是这样需要重新启动服务器。 可以通过下面的命令立即生效。

LVS-nat模式:

建议：先在Real Server安装如nginx（两台机器real-server)

yum install -y nginx
[root@real-server1 ~]# echo "real-server1" >> /usr/share/nginx/html/index.html
两台机器都安装，按顺序添加不同的主机名以示区分

所有机器
systemctl stop firewalld && setenforce 0

LVS/NAT模式实施
准备工作（集群中所有主机）［可选］每台机器都需要做

cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.246.166 lvs-server
192.168.246.161 real-server1
192.168.246.162 real-server2

Director分发器配置
先给LVS服务器新添加一块网卡网络模式设置为桥接模式。会自动生成一个ip，作为VIP

ip addr add dev ens37 192.168.50.128/24   #设置VIP
[root@lvs-server ~]# vim /etc/sysctl.conf #开启路由转发
net.ipv4.ip_forward = 1
[root@lvs-server ~]# sysctl -p #开启转发功能

定义LVS的分发策略

yum install -y ipvsadm  #RHEL确保LoadBalancer仓库可用

ipvsadm -S > /etc/sysconfig/ipvsadm
service ipvsadm start  #启动

添加内容

ipvsadm -A -t 192.168.50.128:80 -s rr 
ipvsadm -a -t 192.168.50.128:80 -r 192.168.246.161 -m  
ipvsadm -a -t 192.168.50.128:80 -r 192.168.246.162 -m  

保存方式

ipvsadm -S > /etc/sysconfig/ipvsadm  #保存方式一
service ipvsadm save #保存方式二，使用上面你的保存方式

查看方法

ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.50.128:80 rr
  -> 192.168.246.161:80           Masq    1      1          3         
  -> 192.168.246.162:80           Masq    1      1          3        

查看方法二

ipvsadm -L -n --stats			      // 显示统计信息
ipvsadm -L -n --rate				//看速率

RS配置
确定上面完成拉 最后在real-server1 2段添加
real-server所有服务器—默认网关均指向Directory的DIP

 route add default gw 192.168.246.166  dev ens33