负载均衡之四层负载均衡lvs

一，概念

lvs四层负载均衡
nat模式
后端服务器支持数量10-20台
使用最少两个网段
可以说是3层负载均衡
dr模式
后端服务器支持数量100+台
使用一个网段
可以说是2层负载均衡
隧道模式
后端服务器支持数量100左右
异地负载均衡 realserver必须使用公网Ip，还得需要服务器支持ip隧道协议

full-nat

↓↑↵→←↔

nat:数据流向从client-->dr--->rs   rs-->dr--->client
                  client cip
                  ↑↓
                  ↑↓------->vip
                   dr
                   ↑↓------->dip
            ----------------
           ↑↓                ↓
            rs1              rs2----->rip

dr模式：流量从client-->dr-->rs   rs-->client
→→→→→→ client cip
↑                          ↓
↑                          ↓------->vip
↑                         dr
↑                           ↓------->dip
↑                           +-------------+
←←←←←←← ↓                 ↓
                            rs1             rs2----->rip

二，dr模型实验

dr模式
3台机器
192.168.78.134 dr 做负载均衡 叫分发器
192.168.78.142 web1 rs1
192.168.78.145 web2 rs2

一般是在dr添加网卡后上面通过#route -n 看到最下面的网卡就是作为虚拟IP的网卡
首先给dr这台机器添加一个网卡dr这台机器关机后添加网卡，使dr有两个网卡,新添加的网卡一般是ifcfg-ens37，在 /etc/sysconfig/network-scripts/里面把ifcfg-ens33复制一份
#scp ifcfg-ens33 ifcfg-ens37
#vim ifcfg-ens37 把里面的网卡名字改成ens37
就是添加网卡配置 #systemctl restart network
如果新加的动态IP不行，就把它改为静态的

1.两个rs上部署web服务

#yum -y install nginx
修改主机内容
启动服务：
#systemctl start nginx

2.给两个web服务器的lo网卡设置子网掩码为32位的vip(虚拟IP)

rs1:
#ifconfig lo:0 192.168.78.147/32
rs2:
#ifconfig lo:0 192.168.78.147/32

3.给两个web服务器设置内核参数

为了让vip发包出去
#echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
忽略arp响应
#echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

4.保证dr这台机器 数据包是从dip发送出去的

谁的路由条目在上面，谁就是dip，另一个就是vip

5.在dr上面设置lvs路由条目

#yum install ipvsadm -y
#ipvsadm -A -t 192.168.78.147:80 -s rr
#ipvsadm -a -t 192.168.78.147:80 -r 192.168.78.142:80 -g
#ipvsadm -a -t 192.168.78.147:80 -r 192.168.78.145:80 -g
-A 添加virtual server
-t 指定使用tcp协议
-s 指定调度策略为rr
-a 添加realserver
-r 指定realserver的IP
-g 直接路由模式 （dr模式）

设置开机生效
# ipvsadm-save > /etc/sysconfig/ipvsadm
# systemctl enable ipvsadm

[root@nginx network-scripts]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.78.147:80 rr
-> 192.168.78.142:80 Route 1 0 0
-> 192.168.78.145:80 Route 1 0 0

另外找一台机器测试：
elinks需要安装
#elinks --dump http://192.168.78.147（也可以用浏览器访问）
结果是轮流的访问rs1和rs2，实现负载均衡

抓包
tcpdump -i ens33 tcp port 80 -v -nn
-i 指定网卡
tcp 抓tcp协议的数据包
port指定要抓哪个端口的包
-v 显示详细信息
-nn 以数字的形式显示ip和端口

ipvsadm的参数：

-A –add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也
就是增加一台新的虚拟服务器。
-E –edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D –delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。
-C –clear 清除内核虚拟服务器表中的所有记录。
-R –restore 恢复虚拟服务器规则
-S –save 保存虚拟服务器规则，输出为-R 选项可读的格式
-a –add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器
记录。也就是在一个虚拟服务器中增加一台新的真实服务器
-e –edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录
-d –delete-server 删除一条虚拟服务器记录中的某条真实服务器记录
-L|-l –list 显示内核虚拟服务器表
-Z –zero 虚拟服务表计数器清零（清空当前的连接数量等）
–set tcp tcpfin udp 设置连接超时值
–start-daemon 启动同步守护进程。他后面可以是master 或backup，用来说
明LVS Router 是master 或是backup。在这个功能上也可以采用keepalived 的
VRRP 功能。
–stop-daemon 停止同步守护进程
-h –help 显示帮助信息
其他的选项:
-t –tcp-service service-address 说明虚拟服务器提供的是tcp 的服务
[vip:port] or [real-server-ip:port]
-u –udp-service service-address 说明虚拟服务器提供的是udp 的服务
[vip:port] or [real-server-ip:port]
-f –fwmark-service fwmark 说明是经过iptables 标记过的服务类型。
-s –scheduler scheduler 使用的调度算法，有这样几个选项
rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,
默认的调度算法是： wlc.
-p –persistent [timeout] 持久稳固的服务。这个选项的意思是来自同一个客
户的多次请求，将被同一台真实的服务器处理。timeout 的默认值为300 秒。
-M –netmask netmask persistent granularity mask
-r –real-server server-address 真实的服务器[Real-Server:port]
-g –gatewaying 指定LVS 的工作模式为直接路由模式（也是LVS 默认的模式）
-i –ipip 指定LVS 的工作模式为隧道模式
-m –masquerading 指定LVS 的工作模式为NAT 模式
-w –weight weight 真实服务器的权值
–mcast-interface interface 指定组播的同步接口
-c –connection 显示LVS 目前的连接 如：ipvsadm -L -c
–timeout 显示tcp tcpfin udp 的timeout 值 如：ipvsadm -L –timeout
–daemon 显示同步守护进程状态
–stats 显示统计信息
–rate 显示速率信息
–sort 对虚拟服务器和真实服务器排序输出
–numeric -n 输出IP 地址和端口的数字形式

补充：

shell脚本：LVS启动简易脚本

LVS成功安装之后，可以命令行模式命令实现，也可以自定义脚本执行，方便快捷，可扩展性较好；DR主机也可以使用脚本执行vip的绑定和arp的抑制；
DR自动启动ipvs的脚本：
VIP如有多个的话可以定义数组，RIP定义为数组，如有多个添加即可；
[root@localhost ~]# cat ipvs.sh
#!/bin/bash
#written by linuxidc@2015-11-17
#simple ipvs start/stop scripts

. /etc/init.d/functions

VIP=192.168.20.100
RIP=(
192.168.20.10
192.168.20.11
)

PORT=80
IPVSADM=/sbin/ipvsadm
IFCONFIG=/sbin/ifconfig

function ipvs_start(){
$IFCONFIG eth0:0 $VIP/24 up
$IPVSADM -C
$IPVSADM --set 30 5 60
$IPVSADM -A -t $VIP:$PORT -s rr -p 20

for((i=0;i<${#RIP[*]};i++))
do
$IPVSADM -a -t $VIP:$PORT -r ${RIP[$i]} -g -w 1
done
}

function ipvs_stop(){
$IFCONFIG eth0:0 down
$IPVSADM -C
}

case "$1" in
start)
ipvs_start
action "ipvs is started" /bin/true
;;
stop)
ipvs_stop
action "ipvs is stopped" /bin/true
;;
*)
printf "USAGE:$0 {start|stop} \n"
esac
RS启动ipvs脚本：
[root@localhost ~]# cat lvs_rs.sh
#!/bin/bash
#written by linuxidc@2015-11-17
VIP=192.168.20.100
IFCONFIG=/sbin/ifconfig
$IFCONFIG lo:0 $VIP/32 up
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

LVS+Keepalived实现四层负载及高可用 http://www.linuxidc.com/Linux/2015-02/112695.htm
LVS+Keepalived高可用负载均衡集群架构实验 http://www.linuxidc.com/Linux/2015-01/112560.htm
Heartbeat+LVS构建高可用负载均衡集群 http://www.linuxidc.com/Linux/2014-09/106964.htm
搭建LVS负载均衡测试环境 http://www.linuxidc.com/Linux/2014-09/106636.htm
一个针对LVS的压力测试报告 http://www.linuxidc.com/Linux/2015-03/114422.htm
CentOS 7.0下安装部署LVS http://www.linuxidc.com/Linux/2015-05/117475.htm
本文永久更新链接地址： http://www.linuxidc.com/Linux/2015-11/125319.htm