负载均衡 lvs

1. 4层转发(L4) 与 7层转发(L7) 区别

4层转发(L4) 与 7层转发(L7) 区别
	转发基于的信息	状态	常用的服务
L4	基于网络层和传输层信息： L4转发主要依赖于网络层IP头部(源地址，目标地址，源端口，目标端口)和传输层头部（通常是TCP或UDP）中的信息来做出转发决策。	无状态转发： 大多数L4转发设备是无状态的，意味着它们不会维护会话状态，每个数据包都被独立地转发，而不考虑之前的数据包。这种无状态的转发机制使得L4转发设备具有高吞吐量和低延迟的优点。	LVS,F5,nginx,haproxy
L7	基于应用层信息： L7转发深入到应用层协议中，可以解析HTTP、HTTPS等协议的头部信息，以及请求体中的内容。	有状态转发： L7转发通常是有状态的，转发设备需要维护连接状态，以便识别和处理完整的请求-响应周期	nginx,haproxy

2. LVS工作原理：

当用户向负载均衡调度器（Director Server）发起请求，调度器将请求发往至内核空间PREROUTING链首先会接收到用户请求，判断目标IP确定是本机IP，将数据包发往INPUT链，IPVS是工作在INPUT链上的，当用户请求到达INPUT时，IPVS会将用户请求和自己已定义好的集群服务进行比对，如果用户请求的就是定义的集群服务，那么此时IPVS会强行修改数据包里的目标IP地址及端口，并将新的数据包发往POSTROUTING链，POSTROUTING链接收数据包后发现目标IP地址刚好是自己的后端服务器，那么此时通过选路，将数据包最终发送给后端的服务器

组成部分：

ipvs(ip virtual server)：一段代码工作在内核空间，叫ipvs，是真正生效实现调度的代码。ipvsadm：另外一段是工作在用户空间，叫ipvsadm，负责为ipvs内核框架编写规则，定义谁是集群服务，而谁是后端真实的服务器(Real Server)

3. LVS的工作模式

LVS的IP负载均衡技术是通过IPVS模块来实现的，IPVS是LVS集群系统的核心软件，它的主要作用是：安装在Director Server上，同时在Director Server上虚拟出一个IP地址，用户必须通过这个虚拟的IP地址访问服务。这个虚拟IP一般称为LVS的VIP，即Virtual IP。访问的请求首先经过VIP到达负载调度器，然后由负载调度器从Real Server列表中选取一个服务节点响应用户的请求。 当用户的请求到达负载调度器后，调度器如何将请求发送到提供服务的Real Server节点，而Real Server节点如何返回数据给用户，是IPVS实现的重点技术，IPVS实现负载均衡机制有几种，分别是NAT、DR、TUN及FULLNAT。

DS：director server，即负载均衡器，根据一定的负载均衡算法将流量分发到后端的真实服务器上
RS：real server 真实的提供服务的server，可被DS划分到一个或多个负载均衡组.
BDS：backup director server，为了保证负载均衡器的高可用衍生出的备份.
VS：vitual server，负载均衡集群对外提供的IP+Port.
VIP：VS的IP，client请求服务的DIP（destination IP address），定义在DS上，client或其网关需要有其路由
RIP: Real erver IP 真实服务器的ip地址
CIP: client ip 客户端ip地址
DIP: director ip 负载均衡本身的ip

4. NAT模式

概述：DS把客户端请求包做目标地址转换,回客户端的时候先做源地址转换

NAT(Network Address Translation)是一种外网和内网地址映射的技术。NAT模式下，LVS需要作为RS的网关，当网络包到达LVS时，LVS做目标地址转换(DNAT)，将目标IP改为RS的IP。RS接收到包以后，处理完，返回响应时，源IP是RS IP，目标IP是客户端的IP，这时RS的包通过网关(LVS)中转，LVS会做源地址转换(SNAT)，将包的源地址改为VIP，对于客户端只知道是LVS直接返回给它的。

5. DR模式

概述：DS转换目标MAC地址,RS的LO做VIP

LVS-DR（Direct Routing）模式是LVS负载均衡的一种实现方式，通过在前端负载均衡器和后端真实服务器之间建立虚拟IP地址和ARP代理，将请求直接路由到后端服务器上，避免了数据包的二次复制和转发，提高了系统的性能和可靠性。这种模式需要在后端服务器上配置虚拟IP地址和直接路由规则，并保证后端服务器之间的网络互通。

环境准备：RS的LO口设置VIP，RS抑制ARP解析(防止IP冲突)

DR配置流程

环境准备

主机	IP	安装软件
LVS	10.0.0.5	ipvsadm
VIP(无实体)	10.0.03
WEB01	10.0.0.7	nginx
WEB02	10.0.0.8	nginx

yum -y install ipvsadm
#软件包内容
#/etc/sysconfig/ipvsadm-config
#/usr/lib/systemd/system/ipvsadm.service
#/usr/sbin/ipvsadm           #管理lvs规则 ip_vs
#/usr/sbin/ipvsadm-restore   #恢复从文件中恢复lvs规则
#/usr/sbin/ipvsadm-save      #保存lvs规则

#00.加载ip_vs模块，
modprobe ip_vs

#01.临时手动添加vip(重启网卡失效),后面是由keepalived生成
ip addr add 10.0.0.3/24 dev eth0 label eth0:0

#02.查看lvs规则
ipvsadm -ln

#03.清空规则,要备份
ipvsadm -C

#04.设置tcp超时时间
ipvsadm --set 30 5 60   

#05.添加规则 ngx upstream
ipvsadm -A -t 10.0.0.3:80 -s wrr -p 20
#-A --add-service 创建池塘  
#-t --tcp-service tcp协议
#10.0.0.3:80 组名称
#-s scheduler 轮询算法   wrr weight 加权轮询   rr wlc
#-p persistent 会话保持时间

#06.向upsteam中添加server  
ipvsadm -a -t 10.0.0.3:80 -r 10.0.0.7:80 -g -w 1
ipvsadm -a -t 10.0.0.3:80 -r 10.0.0.8:80 -g -w 1
#-a 添加 rs服务器  
#-t tcp协议
#-r 指定rs服务器ip
#-g --gatewaying dr模式 默认的
#-w 权重

#07.查看规则状态
]# ipvsadm -ln --stats
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port               Conns   InPkts  OutPkts  InBytes OutBytes
  -> RemoteAddress:Port
TCP  10.0.0.3:80                         0        0        0        0        0
  -> 10.0.0.7:80                         0        0        0        0        0
  -> 10.0.0.8:80                         0        0        0        0        0

#08.备份与恢复配置文件(有需要的时候操作)
ipvsadm-save -n > /root/ipvs.txt
ipvsadm-restore < /root/ipvs.txt

[root@web01 ~]# cat /etc/sysconfig/network-scripts/ifcfg-lo:1
DEVICE=lo:1
IPADDR=10.0.0.3
NETMASK=255.255.255.255
ONBOOT=yes
NAME=loopback
[root@web01 ~]# systemctl restart network
[root@web01 ~]# ip a s lo
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet 10.0.0.3/32 brd 10.0.0.3 scope global lo:1
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
#抑制arp解析
cat >>/etc/sysctl.conf<<EOF
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
EOF
sysctl -p

[root@web01 ~]# curl -H host:lvs.tom.com 10.0.0.3
lvs-01

[root@lb01 ~]# yum -y install keepalived
[root@lb01 ~]# cp /etc/keepalived/keepalived.conf{,.back}
[root@lb01 ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id lb01 
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
      10.0.0.3/24 dev eth0 label eth0:0
    }
}

virtual_server 10.0.0.3 80 {
    delay_loop 6
    lb_algo wrr
    lb_kind DR
    persistence_timeout 20
    protocol TCP

    real_server 10.0.0.7 80 {
        weight 1
        TCP_CHECK{
          connect_timeout 8
          nb_get_retry 3
          delay_before_retry 3
          connect_port 80
        }
    }
    real_server 10.0.0.8 80 {
        weight 1
        TCP_CHECK{
          connect_timeout 8
          nb_get_retry 3
          delay_before_retry 3
          connect_port 80
        }
    }
}
[root@lb01 ~]# systemctl restart keepalived

6. TUN模式

概述：DS给数据包加上一层隧道,RS的LO做VIP

LVS-TUN（Tunneling）模式是LVS负载均衡的一种实现方式，通过在前端负载均衡器和后端真实服务器之间建立隧道连接，将客户端请求封装在隧道中传输到后端服务器上进行处理。这种模式需要在前端负载均衡器和后端服务器上配置隧道设备，并使用隧道协议进行数据传输。LVS-TUN模式适用于跨子网或跨网络的场景，可以实现灵活的负载均衡和高可用性，但会引入额外的网络开销和延迟。

IP Tunnel（ip隧道）解决DR模式下RS和DS处于同一网段的问题。ip隧道可以理解为IP in IP, 即发送方在IP头的外部再包装一个IP头，接收方先解出第一层IP头，然后再按照正常流程处理剩下的的IP数据包。

环境准备：RS的LO口设置VIP，RS抑制ARP解析(防止IP冲突)

7. 三种工作模式优缺点

模式	优点	缺点
LVS-NAT	- 简单易配置，不需要对后端服务器进行额外配置 - 支持跨子网负载均衡 - 可以隐藏后端服务器的真实IP地址	- 性能较低，数据包需要经过两次NAT转发 - 后端服务器的响应数据包需要经过前端负载均衡器再返回给客户端 - 单个NAT节点成为性能瓶颈
			LVS-DR	- 性能高，请求直接路由到后端服务器，避免了数据包的二次复制 - 后端服务器可以直接与客户端通信，提高响应速度 - 可以支持大规模部署和高并发流量	- 需要在后端服务器上配置虚拟IP地址和直接路由规则 - 后端服务器之间需要保证网络互通 - 不支持跨子网负载均衡
						LVS-TUN	- 支持跨子网和跨网络负载均衡 - 灵活配置，适用于复杂网络环境 - 可以实现灵活的负载均衡和高可用性	- 引入额外的网络开销和延迟 - 需要在前端负载均衡器和后端服务器上配置隧道设备及协议 - 隧道连接的建立和维护需要额外的管理和资源消耗