LVS介绍与部署

最新推荐文章于 2023-06-07 19:12:37 发布

weixin_34000916

最新推荐文章于 2023-06-07 19:12:37 发布

阅读量132

点赞数

原文链接：http://www.cnblogs.com/yjiu1990/p/10668972.html

版权

LVS介绍

LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统，可以在UNIX/LINUX平台下实现负载均衡集群功能。该项目在1998年5月由章文嵩博士组织成立，是中国国内最早出现的自由软件项目之一。

官网：http://www.linuxvirtualserver.org/index.html
中文资料
LVS项目介绍           http://www.linuxvirtualserver.org/zh/lvs1.html 
LVS集群的体系结构     http://www.linuxvirtualserver.org/zh/lvs2.html 
LVS集群中的IP负载均衡技术  http://www.linuxvirtualserver.org/zh/lvs3.html
LVS集群的负载调度      http://www.linuxvirtualserver.org/zh/lvs4.html

LVS负载均衡相关名词概念

LVS集群的工作模式

DR（Direct Routing）直接路由模式
NAT（Network Address Translation）
TUN（Tunneling）隧道模式
FULLNAT（Full Network Address Translation）

LVS集群的工作模式-DR直接路由模式

DR模式是通过改写请求报文的目标MAC地址，将请求发给真实服务器的，而真实服务器将响应后的处理结果直接返回给客户端用户。
DR技术可极大地提高集群系统的伸缩性。但要求调度器LB与真实服务器RS都有一块物理网卡连在同一物理网段上，即必须在同一局域网环境。

LVS集群的工作模式-DR模式工作原理

通过在调度器LB上修改数据包的目的MAC地址实现转发。注意，源IP地址仍然是CIP，目的IP地址仍然是VIP。
请求的报文经过调度器，而RS响应处理后的报文无需经过调度器LB，因此，并发访问量大时使用效率很高，比Nginx代理模式强于此处。
因DR模式是通过MAC地址的改写机制实现转发的，因此，所有RS节点和调度器LB只能在同一个局域网中。
需要注意RS节点的VIP的绑定(lo:vip/32)和ARP抑制问题。
强调下：RS节点的默认网关不需要是调度器LB的DIP，而应该直接是IDC机房分配的上级路由器的IP(这是RS带有外网IP地址的情况)，理论上讲，只要RS可以出网即可，不需要必须配置外网IP，但走自己的网关，那网关就成为瓶颈了。
由于DR模式的调度器仅进行了目的MAC地址的改写，因此，调度器LB无法改变请求报文的目的端口。LVS DR模式的办公室在二层数据链路层（MAC），NAT模式则工作在三层网络层（IP）和四层传输层（端口）。
当前，调度器LB支持几乎所有UNIX、Linux系统，但不支持windows系统。真实服务器RS节点可以是windows系统。
总之，DR模式效率很高，但是配置也较麻烦。因此，访问量不是特别大的公司可以用haproxy/Nginx取代之。这符合运维的原则：简单、易用、高效。日1000-2000W PV或并发请求1万以下都可以考虑用haproxy/Nginx(LVS的NAT模式)
直接对外的访问业务，例如web服务做RS节点，RS最好用公网IP地址。如果不直接对外的业务，例如：MySQL，存储系统RS节点，最好只用内部IP地址。

LVS集群的工作模式-NAT模式

通过网络地址转换，调度器LB重写请求报文的目标地址，根据预设的调度算法，将请求分派给后端的真实服务器，真实服务器的响应报文处理之后，返回时必须要通过调度器，经过调度器时报文的源地址被重写，再返回给客户，完成整个负载调度过程。
收费站模式---来去都要经过LB负载均衡器。

LVS集群的工作模式-隧道模式

采用NAT技术时，由于请求和响应的报文都必须经过调度器地址重写，当客户请求越来越多时，调度器的处理能力将成为瓶颈，为了解决这个问题，调度器把请求的报文通过IP隧道(相当于ipip或ipsec )转发至真实服务器，而真实服务器将响应处理后直接返回给客户端用户，这样调度器就只处理请求的入站报文。由于一般网络服务应答数据比请求报文大很多，采用 VS/TUN技术后，集群系统的最大吞吐量可以提高10倍。
VS/TUN工作流程,它的连接调度和管理与VS/NAT中的一样，只是它的报文转发方法不同。调度器根据各个服务器的负载情况，连接数多少，动态地选择一台服务器，将原请求的报文封装在另一个 IP报文中，再将封装后的IP报文转发给选出的真实服务器；真实服务器收到报文后，先将收到的报文解封获得原来目标地址为VIP地址的报文, 服务器发现VIP地址被配置在本地的IP隧道设备上(此处要人为配置)，所以就处理这个请求，然后根据路由表将响应报文直接返回给客户。

LVS集群的工作模式-FULLNAT

LVS的DR和NAT模式要求RS和LVS在同一个vlan中，导致部署成本过高；
TUNNEL模式虽然可以跨vlan，但RealServer上需要部署ipip隧道模块等，网络拓扑上需要连通外网，较复杂，不易运维。
为了解决上述问题，开发出FULLNAT，该模式和NAT模式的区别是：数据包进入时，除了做DNAT，还做SNAT（用户ip->内网ip），从而实现LVS-RealServer间可以跨vlan通讯，RealServer只需要连接到内网。
类比地铁站多个闸机。

arp知识点

为了提高IP转换MAC的效率，系统会将解析结果保存下来，这个结果叫做ARP缓存。

Windows查看ARP缓存命令   arp -a
Linux查看ARP缓存命令     arp -n
Linux解析IP对应的MAC地址 arping -c 1 -I eth0 10.0.0.6

ARP缓存表是把双刃剑
①主机有了arp缓存表，可以加快ARP的解析速度，减少局域网内广播风暴。因为arp是发广播解析的，频繁的解析也是消耗带宽的，尤其是机器多的时候。
②正是有了arp缓存表，给恶意黑客带来了攻击服务器主机的风险，这个就是arp欺骗攻击。有同学恶作剧，伪装班主任告诉快递员错误的教室编号。
③切换路由器，负载均衡器等设备时，可能会导致短时网络中断。因为所有的客户端ARP缓存表没有更新。

服务器切换arp问题

当集群中一台提供服务的lb01机器宕机后，然后VIP会转移到备机lb02上，但是客户端的ARP缓存表的地址解析还是宕机的lb01的MAC地址。从而导致，即使在lb02上添加VIP，也会发生客户端无法访问的情况。

   解决办法是：当lb01宕机，VIP地址迁移到lb02时，需要通过arping命令通知所有网络内机器更新本地的ARP缓存表，从而使得客户机访问时重新广播获取MAC地址。
   这个是自己开发服务器高可用脚本及所有高可用软件必须考虑到的问题。

ARP广播进行新的地址解析
arping -I eth0 -c 1 -U VIP
arping -I eth0 -c 1 -U 10.0.0.3

arp_announce和arp_ignore详解

lvs在DR模式下需要关闭arp功能
arp_announce
对网络接口上，本地IP地址的发出的，ARP回应，作出相应级别的限制: 
确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口
0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址
1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.
2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.
arp_ignore
定义对目标地址为本地IP的ARP询问不同的应答模式0
0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求
1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求
2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内
3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应
4-7 - 保留未使用
8 -不回应所有（本地地址）的arp查询

LVS集群搭建

第一步：安装ipvsadm管理工具（只在lb01操作）

# 查看系统的LVS模块。
lsmod|grep ip_vs
# 默认没有加载模块，需要安装管理工具才会激活。
yum -y install ipvsadm
# 查看当前LVS状态，顺便激活LVS内核模块。
ipvsadm
[root@lb01 ~]# lsmod|grep ip_vs
ip_vs                 141092  0 
nf_conntrack          111302  1 ip_vs
libcrc32c              12644  2 xfs,ip_vs

第二步：配置LVS负载均衡服务（只在lb01操作）

步骤1：在eth0网卡绑定VIP地址（ip）
ip addr add 10.0.0.3/24 dev eth0
步骤2：清除当前所有LVS规则（-C）
ipvsadm -C
步骤3：设置tcp、tcpfin、udp链接超时时间（--set）
ipvsadm --set 30 5 60
步骤4：添加虚拟服务（-A），调度算法见man ipvsadm
ipvsadm -A -t 10.0.0.13:80 -s wrr -p 20
步骤5：将虚拟服务关联到真实服务上（-a）
ipvsadm -a -t 10.0.0.13:80 -r 10.0.0.17:80 -g -w 1 
ipvsadm -a -t 10.0.0.13:80 -r 10.0.0.18:80 -g -w 1
步骤6：查看配置结果（-ln）
ipvsadm -ln

第三步：在web服务器上配置，并重启网卡

步骤1：在lo网卡绑定VIP地址（ip）
ip addr add 10.0.0.13/32 dev lo(临时生效)
永久生效：复制lo网卡配置文件cp ifcfg-lo ifcfg-lo:1
[root@web01 network-scripts]# cp ifcfg-lo ifcfg-lo:2
[root@web01 network-scripts]# cat ifcfg-lo:1
DEVICE=lo:1
IPADDR=10.0.0.3
NETMASK=255.255.255.255
# If you're having problems with gated making 127.0.0.0/8 a martian,
# you can change this to something else (255.255.255.255, for example)
ONBOOT=yes
NAME=lo:1
步骤2：修改内核参数抑制ARP响应
cat >>/etc/sysctl.conf<<EOF
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
EOF
sysctl -p

第四步：测试

LVS+keeplived部署

第一步：在lb01与lb02安装keeplived

yum -y install keepalived

第二步：编写keeplived的配置文件(lb02类似，只需要修改route_id与优先级，还有state)

[root@lb01 ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id LVS_01
}

vrrp_instance group01 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 500
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        10.0.0.3/24
    }
    #track_script {
    #   check_web
    #}
}
#表示管理控制的LVS服务器，相当于ipvsadm -A -t 10.0.0.3:80 -s wrr -p 20
virtual_server 10.0.0.3 80 {
     delay_loop 6 #表示循环
     lb_algo wrr #表示调度方法
     lb_kind DR  #表示工作模式
     nat_mask 255.255.255.0 
     persistence_timeout 50 #表示会话保持的时间
     protocol TCP #表示使用的是TCP协议
    #表示管理的服务器，相当于ipvsadm -a -t 10.0.0.3:80 -r 10.0.0.7:80 -g -w 1
     real_server 10.0.0.7 80 {
         weight 1 #表示权重
     TCP_CHECK { #表示端口的检查
     connect_timeout 8
     nb_get_retry 3
     delay_before_retry 3
     connect_port 80 #表示检查的是哪一个端口
     }
     }

      real_server 10.0.0.8 80 {
         weight 1
     TCP_CHECK { 
     connect_timeout 8
     nb_get_retry 3
     delay_before_retry 3
     connect_port 80
     }
     }
}

      real_server 10.0.0.8 80 {
         weight 1
     TCP_CHECK { 
     connect_timeout 8
     nb_get_retry 3
     delay_before_retry 3
     connect_port 80
     }
     }
}
#重启keepalive服务
/etc/init.d/keepalived restart

第三步：在web服务器上配置，并重启网卡

步骤1：在lo网卡绑定VIP地址（ip）
ip addr add 10.0.0.13/32 dev lo(临时生效)
永久生效：复制lo网卡配置文件cp ifcfg-lo ifcfg-lo:1
[root@web01 network-scripts]# cp ifcfg-lo ifcfg-lo:2
[root@web01 network-scripts]# cat ifcfg-lo:1
DEVICE=lo:1
IPADDR=10.0.0.3
NETMASK=255.255.255.255
# If you're having problems with gated making 127.0.0.0/8 a martian,
# you can change this to something else (255.255.255.255, for example)
ONBOOT=yes
NAME=lo:1

步骤2：修改内核参数抑制ARP响应
cat >>/etc/sysctl.conf<<EOF
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
EOF
sysctl -p

第四步：测试

#关闭web02
[root@web02 network-scripts]# /application/nginx/sbin/nginx -s stop
#查看lb01
[root@lb01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.0.0.3:80 wrr persistent 50
  -> 10.0.0.7:80                  Route   1      0          0

使用网页进行访问测试

关闭lb01再进行访问