ipvs scheduler介绍、ipvsadm介绍、NAT模式实现步骤参考、DR模式实现步骤参考、FireWall Mark和持久连接

ipvs scheduler介绍

ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态，调度算法有静态方法和动态方法

静态方法：仅根据算法本身进行调度
1.RR：roundrobin，轮询

2.WRR：Weighted RR，加权轮询

3.SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定

4.DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商

动态方法：主要根据每RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度
1.LC：least connections 适用于长连接应用
Overhead=activeconns*256+inactiveconns

2.WLC：Weighted LC，默认调度方法
Overhead=(activeconns*256+inactiveconns)/weight

3.SED：Shortest Expection Delay,初始连接高权重优先
Overhead=(activeconns+1)*256/weight

4.NQ：Never Queue，第一轮均匀分配，后续SED

5.LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理

6.LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS

查看支持的算法
grep -i -A 11 “ipvs” /boot/config-VERSION-RELEASE.x86_64
支持的协议：TCP， UDP， AH， ESP， AH_ESP, SCTP

ipvsadm介绍

ipvsadm的作用：
集群服务管理：增、删、改
集群服务的RS管理：增、删、改
查看

程序包：ipvsadm
Unit File: ipvsadm.service
主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config

管理集群服务：增、改、删

增、改：
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

删除：
ipvsadm -D -t|u|f service-address

service-address：
-t|u|f：
-t: TCP协议的端口，VIP:TCP_PORT
-u: UDP协议的端口，VIP:UDP_PORT
-f：firewall MARK，标记，一个数字
[-s scheduler]：指定集群的调度算法，默认为wlc

管理集群上的RS：增、改、删

增、改：ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-wweight]

删：
ipvsadm -d -t|u|f service-address -r server-address

server-address：
rip[:port] 如省略port，不作端口映射

选项：
lvs类型：
-g: gateway, dr类型，默认
-i: ipip, tun类型
-m: masquerade, nat类型
-w weight：权重

其他参数

清空定义的所有内容：ipvsadm –C
清空计数器：ipvsadm -Z [-t|u|f service-address]
查看：ipvsadm -L|l [options]
–numeric, -n：以数字形式输出地址和端口号
–exact：扩展信息，精确值
–connection，-c：当前IPVS连接输出
–stats：统计信息
–rate ：输出速率信息

ipvs规则：/proc/net/ip_vs
ipvs连接：/proc/net/ip_vs_conn

保存：
建议保存至/etc/sysconfig/ipvsadm
ipvsadm-save > /PATH/TO/IPVSADM_FILE
ipvsadm -S > /PATH/TO/IPVSADM_FILE
systemctl stop ipvsadm.service

重载：
ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
systemctl restart ipvsadm.service

NAT模式实现现步骤参考

设计要点：
RIP与DIP在同一IP网络, RIP的网关要指向DIP
支持端口映射
Director要打开核心转发功能

假设IP配置情况如下
LVS服务器
VIP：172.168.1.10
DIP：192.168.1.10

RS1服务器
RIP：192.168.1.11

RS2服务器
RIP：192.168.1.12

1.LVS打开转发功能

vim /etc/sysctl.conf
net.ipv4.ip_forward=1

2.RS的网关指向DIP

3.安装ipvsadm包
yum install ipvsadm -y

4.添加集群

添加新集群指定VIP和端口，工作方式为轮询
ipvsadm -A -t 172.168.1.10:80 -s rr

查看集群
ipvsadm -Ln

5.添加RS到集群中

往172.168.1.10:80集群中添加RS，-m表示工作模式是NAT
ipvsadm -a -t 172.168.1.10:80 -r 192.168.1.11 -m
ipvsadm -a -t 172.168.1.10:80 -r 192.168.1.12 -m

查看集群统计信息
ipvsadm -Ln --stats

输出速率信息
ipvsadm -Ln --rate

6.测试效果

while true;do curl 172.168.1.10 ; sleep 0.5;done

注意：如果是https集群，RS需要提供相同的证书和私钥

修改调度算法

修改为加权轮询
ipvsadm -E -t 172.168.1.10:80 -s wrr

修改RS服务器权重
ipvsadm -e -t 172.168.1.10:80 -r 192.168.1.11 -m -w 6
ipvsadm -e -t 172.168.1.10:80 -r 192.168.1.12 -m -w 2

DR模式实现步骤参考

DR模型中各主机上均需要配置VIP，解决地址冲突的方式有三种：
1.在前端网关做静态绑定
2.在各RS使用arptables
3.在各RS修改内核参数，来限制arp响应和通告的级别

限制响应级别：arp_ignore
0：默认值，表示可使用本地任意接口上配置的任意地址进行响应
1: 仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时，才给予响应

限制通告级别：arp_announce
0：默认值，把本机所有接口的所有信息向每个接口的网络进行通告
1：尽量避免将接口信息向非直接连接网络进行通告
2：必须避免将接口信息向非本网络进行通告

1.配置IP

DR模式需要配置4台机子
1.路由器配置
开启路由功能
vim /etc/sysctl.conf
net.ipv4.ip_forward=1

配置网卡IP
eth0：172.168.1.10
eth1：192.168.1.5

2.LVS网卡配置
eth0：192.168.1.10
lo：172.168.1.10
GW:192.168.1.5
LVS的网关一定要加，虽然理论上用不着，但是如果不加，系统会判断数据包无路径返回导致网络会不通

3.RS1配置
eth0：192.168.1.11
lo：172.168.1.10
GW:192.168.1.5

4.RS2配置
eth0：192.168.1.12
lo：172.168.1.10
GW:192.168.1.5

2.路由器上添加防火墙转发规则
iptables -t nat -A PREROUTING -d 172.168.1.10 -p tcp --dport 80 -j DNAT --to-destination 192.168.1.10

3.LVS添加集群

ipvsadm -A -t 172.168.1.10:80 -s rr
ipvsadm -a -t 172.168.1.10:80 -r 192.168.1.11 
ipvsadm -a -t 172.168.1.10:80 -r 192.168.1.12 

4.RS1和2上设置响应和通告级别

echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

至此，配置完毕

FireWall Mark和持久连接

FWM：FireWall Mark
MARK target 可用于给特定的报文打标记
–set-mark value
其中：value 可为0xffff格式，表示十六进制数字

借助于防火墙标记来分类报文，而后基于标记定义集群服务；可将多个不同的应用使用同一个集群服务进行调度

实现方法：
1.在Director主机打标记：
iptables -t mangle -A PREROUTING -d $vip -p $proto –m multiport --dports $port1,$port2,… -j MARK --set-mark NUMBER

2.在Director主机基于标记定义集群服务：
ipvsadm -A -f NUMBER [options]

示例：
iptables -t mangle -A PREROUTING -d 172.168.1.10 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 0xf

持久连接

session 绑定：对共享同一组RS的多个集群服务，需要统一进行绑定，lvs sh算法无法实现
持久连接（ lvs persistence ）模板：实现无论使用任何调度算法，在一段时间内（默认360s ），能够实现将来自同一个地址的请求始终发往同一个RS

命令语法：
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

持久连接实现方式：
每端口持久（PPC）：每个端口定义为一个集群服务，每集群服务单独调度
每防火墙标记持久（PFWMC）：基于防火墙标记定义集群服务；可实现将多个端口上的应用统一调度，即所谓的port Affinity
每客户端持久（PCC）：基于0端口（表示所有服务）定义集群服务，即将客户端对所有应用的请求都调度至后端主机，必须定义为持久模式

示例：
ipvsadm -E -f 0xf -s rr -p