LVS负载均衡群集

①原理：首先负载均衡器接收到客户的请求数据包时，根据调度算法决定将请求发送给哪个后端的真实服务器（RS）。然后负载均衡器就把客户端发送的请求数据包的目标IP地址及端口改成后端真实服务器的IP地址（RIP）。真实服务器响应完请求后，查看默认路由，把响应后的数据包发送给负载均衡器，负载均衡器在接收到响应包后，把包的源地址改成虚拟地址（VIP）然后发送回给客户端。

②优点：集群中的服务器可以使用任何支持TCP/IP的操作系统，只要负载均衡器有一个合法的IP地址。

③缺点：扩展性有限，当服务器节点增长过多时，由于所有的请求和应答都需要经过负载均衡器，因此负载均衡器将成为整个系统的瓶颈。

2、TUN模式（IP隧道）

IP Tunnel，简称TUN模式

①原理：首先负载均衡器接收到客户的请求数据包时，根据调度算法决定将请求发送给哪个后端的真实服务器（RS）。然后负载均衡器就把客户端发送的请求报文封装一层IP隧道（T-IP）转发到真实服务器（RS）。真实服务器响应完请求后，查看默认路由，把响应后的数据包直接发送给客户端，不需要经过负载均衡器。

②优点：负载均衡器只负责将请求包分发给后端节点服务器，而RS将应答包直接发给用户。所以，减少了负载均衡器的大量数据流动，负载均衡器不再是系统的瓶颈，也能处理很巨大的请求量。

③缺点：隧道模式的RS节点需要合法IP，这种方式需要所有的服务器支持“IP Tunneling”。

3、DR模式（直接路由）

Direct Routing，简称DR模式

①原理：首先负载均衡器接收到客户的请求数据包时，根据调度算法决定将请求发送给哪个后端的真实服务器（RS）。然后负载均衡器就把客户端发送的请求数据包的目标MAC地址改成后端真实服务器的MAC地址（R-MAC）。真实服务器响应完请求后，查看默认路由，把响应后的数据包直接发送给客户端，不需要经过负载均衡器。

③缺点：需要负载均衡器与真实服务器RS都有一块网卡连接到同一物理网段上，必须在同一个局域网环境。

工作模式区别	NAT模式	TUN模式	DR模式
节点服务器数量（server number）	low 10-20	high 100	high 100
真实网关（real servers）	负载调度器	自由路由器	自由路由器
IP地址	公网+私网	公网	私网
优点	安全性高	安全、速度快	性能最好
缺点	效率低	需要隧道支持	不能跨越lan（局域网）

五、LVS虚拟服务器

1、Linux Virtual Server

①针对Linux内核开发的负载均衡解决方案

②1998年5月，由我国的章文嵩博士创建

③官方网站：http://www.linuxvirtualserver.orgl/

④LVS实际上相当于基于IP地址的虚拟化应用，为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方法。

2、LVS的负载调度算法

①轮询：RR(Round Robin)

将收到的访问请求按照顺序轮流分配给群集中的各节点(真实服务器),均等地对待每一台服务器，而不管服务器实际的连接数和系统负载。

②加权轮询：WRR(Weighted Round Robin)

根据调度器设置的权重值来分发请求,权重值高的节点优先获得任务,分配的请求数越多。保证性能强的服务器承担更多的访问流量。

③最少连接：LC(Least Connections )

根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点。

④加权最少连接：WLC(Weighted Least Connections)

在服务器节点的性能差异较大时，可以为真实服务器自动调整权重。性能较高的节点将承担更大比例的活动连接负载。

六、LVS群集创建与管理

1、步骤

①创建虚拟机服务器

②添加、删除服务器节点

③查看群集及节点情况

④保存负载分配策略

2、LVS的管理工具是ipvsadm

选项	作用
-A	添加虚拟服务器
-D	删除整个虚拟服务器
-s	指定负载均衡调度算法
-a	表示添加正式服务器（节点服务器）
-d	删除某一个节点
-t	指定VIP地址及TCP端口
-r	指定RIP地址及TCP端口
-m	表示使用NAT群集模式
-g	表示使用DR模式
-i	表示使用TUN模式
-w	设置权重（权重为0时表示暂停节点）
-p 60	表示保持长连接60秒
-l	列表查看LVS虚拟服务器（默认查看所有）
-n	以数字形式显示地址，端口等信息，常与“-l”选项组合使用

七、LVS负载均衡群集部署使用NAT模式

1、LVS服务器配置步骤

（1）配置SNAT转发规则

[root@localhost ~]# vim /etc/sysctl.conf 
net.ipv4.ip_forward = 1
[root@localhost ~]# sysctl -p
net.ipv4.ip_forward = 1
[root@localhost ~]# systemctl start firewalld.service 
[root@localhost ~]# iptables -t nat -F
[root@localhost ~]# iptables -F
[root@localhost ~]# iptables -t nat -nL
[root@localhost ~]# iptables -t nat -A POSTROUTING -s 192.168.32.0/24 -o ens37 -j SNAT --to-source 10.1.1.100

nat表：修改数据包中的源、目标IP地址或端口

POSTROUTING：在进行路由判断之"后"所要进行的规则（SNAT/MASQUERADE）

PREROUTING：在进行路由判断之"前"所要进行的规则（DNAT/REDIRECT）

-A：在规则链的末尾加入新规则

-s：匹配来源地址IP/MASK

-o：网卡名称匹配从这块网卡流出的数据

-i：网卡名称匹配从这块网卡流入的数据

-j：控制类型

（2）加载LVS内核模块

[root@localhost ~]# modprobe ip_vs     #手动加载ip_vs模块
[root@localhost ~]# cat /proc/net/ip_vs     #查看ip_vs版本信息
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn

（3）安装ipvsadm管理工具

[root@localhost ~]# yum install -y ipvsadm
[root@localhost ~]# ipvsadm-save > /etc/sysconfig/ipvsadm（ipvsadm --save > /etc/sysconfig/ipvsadm或者touch /etc/sysconfig/ipvsadm）#注意：启动服务前必须保存负载分配策略，否则将会报错
[root@localhost ~]# systemctl start ipvsadm.service

（4）配置负载分配策略（NAT模式只要在服务器上配置，节点服务器不需要特殊配置）

[root@localhost ~]# cd /opt/
[root@localhost opt]# vim nat.sh
#!/bin/bash
ipvsadm -C
ipvsadm -A -t 10.1.1.100:80 -s rr
ipvsadm -a -t 10.1.1.100:80 -r 192.168.32.133:80 -m -w 1
ipvsadm -a -t 10.1.1.100:80 -r 192.168.32.134:80 -m -w 1

-A：添加虚拟服务器

-s：指定负载调度算法〈轮询:rr、加权轮询: wrr、最少连接:lc、加权最少连接: wlc )

-a：表示添加真实服务器(后端节点服务器)

-t：指定VIP地址及1TCP端口

-m：表示使用NAT群集模式．

-w：设置权重(权重为o时表示暂停节点)

[root@localhost opt]# chmod +x nat.sh
[root@localhost opt]# ./nat.sh 
[root@localhost opt]# ipvsadm     #启动策略
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  localhost.localdomain:http rr
  -> 192.168.32.133:http          Masq    1      0          0         
  -> 192.168.32.134:http          Masq    1      0          0

2、httpd01服务器配置步骤

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
[root@localhost ~]# setenforce 0
[root@localhost ~]# yum install -y httpd
[root@localhost html]# vim index.html
this is httpd01 web
[root@localhost html]# systemctl start httpd
[root@localhost html]# curl 192.168.32.133
this is httpd01 web

3、httpd02服务器配置步骤

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
[root@localhost ~]# setenforce 0
[root@localhost ~]# yum install -y httpd
[root@localhost html]# vim index.html
this is httpd02 web
[root@localhost html]# systemctl start httpd
[root@localhost html]# curl 192.168.32.134
this is httpd02 web

4、测试结果

八、LVS负载均衡群集部署使用DR模式

1、LVS-DR工作原理

LVS-DR数据包流向分析：为了方便进行原理分析，将Client与群集机器放在同一网络中，数据包流经的路线位：①→②→③→④

（1）、Client向目标VIP发出请求，Director（负载均衡器）接收。

IP包头及数据帧头信息：

（2）Director根据负载均衡算法选择RealServer_1，不修改也不封装IP报文，而是将数据帧的MAC地址改为RealServer_1的MAC地址，然后在局域网上发送。

IP包头及数据帧头信息：

（3）RealServer_1收到这个帧，解封装后发现目标IP与本机匹配（RealServer实现绑定了VIP），于是处理这个报文。随后重新封装报文，发送到局域网。

IP包头及数据帧头信息：

（4）Client将收到回复报文。Client认为得到正常的服务，而不会知道是哪一台服务器处理的。

注意：如果跨网段，则报文通过路由器经由Internet返回给用户

2、LVS-DR中的ARP问题

在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址

（1）在LVS-DR负载均衡集群中，负载均衡与节点服务器都要配置相同的VIP地址。

（2）在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱。

当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同网络上，它们都会接收到ARP广播。只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。

（3）对节点服务器进行处理，使其不响应针对VIP的ARP请求。

使用虚接口lo:0承载VIP地址，设置内核参数arp_ignore=1:系统只响应目的IP为本地IP的ARP请求

（4）Realserver返回报文（源IP是VIP)经路由器转发，重新封装报文时，需要先获取路由器的MAC地址。

（5）发送ARP请求时，Linux默认使用IP包的源IP地址(即VIP)作为ARP请求包中的源IP地址，如: ens33

（6）路由器收到ARP请求后，将更新ARP表项

（7）原有的VIP对应Director的MAC地址会被更新为VIP对应Realserver的MAC地址

（8）路由器根据ARP表项，会将新来的请求报文转发给RealServer，导致pirector的VIP失效解决方法：对节点服务器进行处理，设置内核参数arp_announce=2:系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址。

3、LVS-DR流量分析

（1）客户端发送请求到Director server (负载均衡器)，请求的数据报文(源IP是CIP，目标IP是VIP)到达内核空间。

（2）Director Server和Real server在同一个网络中，数据通过二层数据链路层来传输。

（3）内核空间判断数据包的目标IP是本机VIP，此时IPVS (IP虚拟服务器）比对数据包请求的服务是否是集群服务，是集群服务就重新封装数据包。修改源Mac地址为Director Server的MAC地址，修改目标MAC地址为Real server的MAC地址，源IP地址与目标IP地址没有改变，然后将数据包发送给Real server。

（4）到达Real server的请求报文的MAC地址是自身的MAc地址，就接收此报文。数据包重新封装报文(源IP地址为VIP，目标IP为CIP)，将响应报文通过lo接口传送给物理网卡然后向外发出。

（5）Real server直接将响应报文传送到客户端。

4、LVS-DR模式的特点

（1）Director Server和Real server必须在同一-个物理网络中。

（2）Real Server可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对RIP进行直接访问。

（3）Director server作为群集的访问入口，但不作为网关使用。

（4）所有的请求报文经由Director Server，但回复响应报文不能经过Director Server。

（5）Real Server的网关不允许指向Director Server IP，即 Real Server 发送的数据包不允许经过Director server。

（6）Real server上的lo接口配置VIP的IP地址

5、配置步骤

LVS调度服务器配置（主-备）
（1）关闭防火墙

[root@localhost ~]# systemctl stop firewalld.service
[root@localhost ~]# systemctl disable firewalld.service
[root@localhost ~]# setenforce 0

（2）时间同步（阿里云）

[root@localhost ~]# ntpdate ntp1.aliyun.com

（3）加载ip_vs模块，下载安装ip_vs

[root@localhost ~]# modprobe ip_vs
[root@localhost ~]# cat /proc/net/ip_vs
[root@localhost ~]# yum install -y ipvsadm

（4）配置虚拟IP地址

[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# vim ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.32.100
NETMASK=255.255.255.255
[root@localhost network-scripts]# systemctl restart network
[root@localhost network-scripts]# ifconfig ens33:0

（5）调整proc响应参数（由于LVS负载调度器和各节点需要共用VIP地址，应该关闭Linux内核的重定向参数响应，不充当路由器的转发、重定向）

[root@localhost ~]# vim /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
[root@localhost ~]# sysctl -p

（6）配置负载分配策略

[root@localhost ~]# ipvsadm-save > /etc/sysconfig/ipvsadm
[root@localhost ~]# cd /opt/
[root@localhost opt]# vim dr.sh
#!/bin/bash
ipvsadm -C
ipvsadm -A -t 192.168.32.100:80 -s rr
ipvsadm -a -t 192.168.32.100:80 -r 192.168.32.135:80 -g
ipvsadm -a -t 192.168.32.100:80 -r 192.168.32.136:80 -g
[root@localhost ~]# systemctl start ipvsadm.service

Web节点服务器配置
（1）关闭防火墙

[root@localhost ~]# systemctl stop firewalld.service
[root@localhost ~]# systemctl disable firewalld.service
[root@localhost ~]# setenforce 0

（2）时间同步（阿里云）

[root@localhost ~]# ntpdate ntp1.aliyun.com

（3）配置虚拟IP地址（此地址仅用做发送Web响应数据包的来源地址，并不需要监听客户机的访问请求，改由调度器监听并分发，因此使用虚拟接口lo:0来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱）

[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp -p ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.32.100
NETMASK=255.255.255.255
ONBOOT=yes
#NAME=loopback
[root@localhost network-scripts]# ifup lo:0
[root@localhost network-scripts]# ifconfig lo:0

（4）配置路由禁锢，启动管理执行路由禁锢

[root@localhost ~]#  vim /etc/rc.local
/sbin/route add -host 192.168.32.100 dev lo:0
[root@localhost ~]# chmod +x /etc/rc.d/rc.local

（5）调整内核的ARP响应参数以阻止更新VIP的MAC地址，避免发生冲突

[root@localhost ~]# vim /etc/sysctl.conf 
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@localhost ~]# sysctl -p

（6）开启httpd服务

[root@localhost ~]# yum install -y httpd
[root@localhost ~]# systemctl start httpd.service 
Web01配置：
[root@localhost ~]# echo "<h1>this is web01</h1>" > /var/www/html/index.html
Web02配置：
[root@localhost ~]# echo "<h1>this is web02</h1>" > /var/www/html/index.html

keepalived配置（在两台LVS上配置）

[root@localhost ~]# cd /etc/keepalived/
[root@localhost keepalived]# cp keepalived.conf keepalived.conf.bak
[root@localhost keepalived]# vim keepalived.conf

global_defs {
router_id lvs_01
}
vrrp_instance vi_1 {
state MASTER
interface ens33
virtual_router_id 51
priority 100
advert_int 1
authentication{
auth_type PASS
auth_pass abc123
}
virtual_ipaddress {
192.168.32.100
}
}
virtual_server 192.168.32.100 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 6
protocol TCP
}
real_server 192.168.32.135 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.32.136 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}

[root@localhost ~]# cd /etc/keepalived/
[root@localhost keepalived]# cp keepalived.conf keepalived.conf.bak
[root@localhost keepalived]# vim keepalived.conf

global_defs {
router_id lvs_02
}
vrrp_instance vi_1 {
state BACKUP
interface ens33
virtual_router_id 51
priority 90
advert_int 1
authentication{
auth_type PASS
auth_pass abc123
}
virtual_ipaddress {
192.168.32.100
}
}
virtual_server 192.168.32.100 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 6
protocol TCP
}
real_server 192.168.32.135 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.32.136 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}

总结

1、常见的群集类型包括负载均衡群集、高可用群集和高性能运算群集。

2、负载均衡群集的工作模式：地址转换（NAT）模式、IP隧道（TUN）模式和直接路由（DR）模式。

3、LVS负载均衡的常用调度算法：轮询（RR）、加权轮询（WRR）、最少连接（LC）和加权最少连接（WLC）。

4、ipvsadm工具可用来配置LVS负载调度器和管理群集节点。

5、NAT模式的群集采用单一出入口，一个公网IP地址；而DR模式的群集采用单一入口+多路出口，需要多个公网IP地址。

6、Keepalived主要针对LVS群集应用而设计，提供故障切换和健康检查功能。在非LVS群集环境中，也可用来实现多机热备功能。

7、Keepalived的配置文件位Keepalived.conf，主、备服务器的配置区别主要在于路由器名称、热备状态、优先级。

8、漂移地址（VIP）由Keepalived根据热备状态自动指定，不需要手动设置。LVS群集的服务器池在Keepalived.conf文件中预先配置，不需要手动执行ipvsadm工具。

9、通过LVS+Keepalived的结合使用，可以实现服务器的高可用负载均衡群集。

YH746

关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
LVS负载均衡群集

引言在互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器力不从心。使用价格昂贵的小型机、大型机使用普通服务器构建服务群集，通过整合多台服务器，使用LVS来达到服务器的高可用和负载均衡，并且同一个IP地址对外提供相同的服务。一、群集的概述1、群集的含义①Cluster、集群、群集。2、群集的构成由多台主机构成，但对外只表现为一个整体，只提供一个访问入口（域名或IP地址），相当于一台大型计算机。二、群集的分类1、根据群集所针对的目标差异，
复制链接

扫一扫