一、LVS集群概括
1.集群基础
Cluster:集群,为解决某个特定问题将多台计算机组合起来形成的单个系统
用户访问服务,不在乎后台是谁,集群由多台主机构成,但对外表现为一个整体,只提供一个访问入口(域名或IP地址),相当于一台大型计算机
2.集群的类型
1.负载均衡群集
提高应用系统的响应能力,尽可能处理更多的访问请求,减少延迟为目标,获得高并发、高负载(LB)的整体性能,LB的负载分配依赖于主节点的分流算法,将来自客户机的访问请求分担给多个服务器节点,从而缓解整个系统的负载压力,例如DNS轮询和反向代理
2.高可用群集
提高应用系统的可靠性,尽可能地减少中断时间为目标,确保服务的连续性,达到高可用(HA)的容错效果,HA的工作方式包括双工和主从两种模式,双工即所有节点同时在线,主从则只有主节点在线,但当出现故障时从节点能自动切换为主节点。例如故障切换和双机热备
3.高性能运算群集
提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标,获得相当于大型、超级计算机的高性能运算(HPC)能力,高性能依赖于分布式运算、并行计算,通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起,实现只有大型、超级计算机才具备的计算能力,例如云计算、网格计算
3.负载均衡集群的结构
1.负载调度器(负载均衡层)
访问整个群集系统的唯一入口,对外使用所有服务器共有的VIP地址,也称为群集IP地址。通常会配置主、备两台调度器实现热备份,当主调度器失效以后能够平滑替换至备用调度器,确保高可用性
2.服务器池(web应用层)
群集所提供的应用服务、由服务器池承担,其中每个节点具有独立的RIP地址(真实IP),只处理调度器分发过来的客户机请求。当某个节点暂时失效时,负载调度器的容错机制会将其隔离,等待错误排除以后再重新纳入服务器池
3.共享存储
为服务器池中的所有节点提供稳定、一致的文件存取服务,确保整个群集的统一性。共享存储可以使用NAS设备,或者提供NFS共享服务的专用服务器
4.LVS负载均衡集群的三种工作模式
1.NAT地址转换模式
类似于防火墙的私有网络结构,负载调度器作为所有服务器节点的网关,即作为客户机的访问入口,也是各节点回应客户机的访问出口,服务器节点使用私有IP地址,与负载调度器位于同一个物理网络,安全性要优于其他两种方式
2.DR直接路由模式
最常用,所有主机共享vip地址,不原路返回LVS调度器。web服务器在同一网段,采用半开放式的网络结构,与TUN模式的结构类似,但各节点并不是分散在各地,而是与调度器位于同一个物理网络,负载调度器与各节点服务器通过本地网络连接,不需要建立专用的IP隧道
3.TUNNEL隧道模式
需要买公网地址,采用开放式的网络结构,负载调度器仅作为客户机的访问入口,各节点通过各自的Internet连接直接回应客户机,而不再经过负载调度器,服务器节点分散在互联网中的不同位置,具有独立的公网IP地址,通过专用IP隧道与负载调度器相互通信
NAT | DR | TUN | |
优点 | 端口转换 | WAN | 性能最好 |
缺点 | 性能瓶颈 | 服务器支持隧道模式 | 不支持跨网段 |
真实服务器要求 | any | Tunneling | Non-arp device |
支持网络 | private(私网) | LAN/WAN(私网/公网) | LAN(私网) |
真实服务器数量 | low(10~20) | High(100) | High(100) |
真实服务器网关 | lvs内网地址 | Own router(网工定义) | Own router(网工定义) |
5.LVS集群负载调度器
LVS集群(Linux Virtual server)负载调度器,内核集成, 阿里的四层SLB(Server Load Balance)是基于LVS+keepalived实现,整个SLB系统由3部分构成:四层负载均衡,七层负载均衡和控制系统
1.四层负载均衡 ,采用开源软件LVS (linux virtual server),并根据云计算需求对其进行了定制化;该技术已经在阿里巴巴内部业务全面上线应用2年
2.七层负载均衡,采用开源软件Tengine;该技术已经在阿里巴巴内部业务全面上线应用3年多;·控制系统,用于配置和监控负载均衡系统
工作原理:
VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS,根据调度算法来挑选RS。LVS是内核级功能,工作在INPUT链的位置,将发往INPUT的流量进行处理
VS:Virtual Server,Director Server(DS), Dispatcher(调度器),Load Balancer(lvs服务器)
RS:Real Server(lvs), upstream server(nginx), backend server(haproxy)(真实服务器)
CIP:Client IP(客户机IP)
VIP:Virtual serve IP VS外网的IP
DIP:Director IP VS内网的IP
RIP:Real server IP (真实IP)
6.LVS的负载调度算法
固定调度算法:
1.轮询(rr)
将收到的访问请求安装顺序轮流分配给群集指定各节点(真实服务器),均等地对待每一台服务器,而不管服务器实际的连接数和系统负载
2.加权轮询(wrr)
依据不同RS的权值分配任务。权重值较高的RS将优先获得任务,并且分配到的连接数将比权值低的RS更多。相同权值的RS得到相同数目的连接数,保证性能强的服务器承担更多的访问流量
3.目的地址hash调度(dh)
以目的地址为关键字查找一个静态hash表来获得所需RS
4.源地址hash调度(sh)
以源地址为关键字查找--个静态hash表来获得需要的RS
5.最小连接数调度(lc)
ipvs表存储了所有活动的连接。LB会比较将连接请求发送到当前连接最少的RS,根据真实服务器已建立的连接数进行分配,将收到的访问请求优先分配给连接数最少的节点
动态调度算法:
6.加权最小连接数调度(wlc)
假设各台RS的权值依次为Wi,当前tcp连接数依次为Ti,依次取Ti/Wi为最小的RS作为下一个分配的RS
7.基于地址的最小连接数调度(lblc)
将来自同一个目的地址的请求分配给同一台RS,此时这台服务器是尚未满负荷的。否则就将这个请求分配给连接数最小的RS,并以它作为下一次分配的首先考虑
7.ipvsadm管理工具
ipvsadm 是在负载调度器上使用的 LVS 群集管理工具,通过调用 ip_vs 模块来添加、删除服务器节点 ,以及查看集群运行状态,在CentOS 7系统中,需安装软件包
yum -y install ipvsadm
LVS 群集的管理工作主要包括创建虚拟服务器、添加服务器节点、查看群集节点状态、 删除服务器节点和保存负载分配策略
ipvsadm选项:
选项 | 作用 |
-A | 添加虚拟服务器 |
-D | 删除整个虚拟服务器 |
-s | 指定负载调度算法(轮询、加权轮询、最少连接、加权最少连接) |
-a | 表示添加真实服务器(节点服务器) |
-d | 删除某一个节点 |
-t | 指定 VIP地址及 TCP端口 |
-r | 指定 RIP地址及 TCP端口 |
-m | 表示使用 NAT群集模式 |
-g | 表示使用 DR模式 |
-i | 表示使用 TUN模式 |
-w | 设置权重(权重为 0 时表示暂停节点) |
-p 60 | 表示保持长连接60秒 |
-l | 列表查看 LVS 虚拟服务器(默认为查看所有) |
-n | 以数字形式显示地址、端口等信息,常与“-l”选项组合使用。ipvsadm -ln |
8.集群设计原则
1.可扩展性:集群的横向扩展能力
2.可用性:无故障时间
3.性能:访问响应时间
4.容量:单位时间内的最大并发吞吐量
二、集群与分布式
1.分布式系统
1.分布式存储:将数据分散存储在多台独立的设备上 。Ceph,GlusterFS,FastDFS,MogileFS
2.分布式计算: 将该应用分解成许多小的部分,分配给多台计算机进行处理。 hadoop,Spark
3.分布式应用:服务按照功能拆分,使用微服务(单一应用程序划分成一组小的服务,服务之间互相协调、互相配合,为用户提供最终价值服务)
4.分布式静态资源:静态资源放在不同的存储集群上
5.分布式数据和存储:使用key-value缓存系统
6.分布式计算:对特殊业务使用分布式计算,比如Hadoop集群
2.集群与分布式介绍
1.集群:同一个业务系统,部署在多台服务器上。集群中,每一台服务器实现的功能没有差别,数据和代码都是一样的
2.分布式:一个业务被拆成多个子业务,或者本身就是不同的业务,部署在多台服务器上。分布式中,每一台服务器实现的功能是有差别的,数据和代码也是不一样的,分布式每台服务器功能加起来,才是完整的业务
三、LVS负载均衡群集部署(NAT模式)
配置环境:
负载调度器(双网卡):
内网ens33:192.168.7.10
外网ens36:12.0.0.1
Web服务器1:192.168.7.20
Web服务器2:192.168.7.30
NFS共享服务器:192.168.7.40
1.负载调度器配置双网卡
2.部署NFS服务器:192.168.7.40
1.#关闭防火墙和selinux
systemctl stop firewalld
setenforce 0
2.#安装nfs服务
yum install nfs-utils rpcbind -y
3.#新建目录,并创建站点文件
cd /opt/
mkdir eva es
echo "this is eva" > eva/index.html
echo "this is es" > es/index.html
4.#开启服务
systemctl start rpcbind
systemctl start nfs
5.#给eva和es权限
chmod 777 eva es
6.#设置共享策略
vim /etc/exports
/opt/eva 192.168.7.0/24(rw,sync)
/opt/es 192.168.7.0/24(rw,sync)
7.#发布服务
exportfs -rv
8.#重启nfs服务
systemctl restart nfs
3.部署Web服务器1:192.168.7.20
1.#关闭防火墙和selinux
systemctl stop firewalld
setenforce 0
2.#安装httpd、nfs-utils和rpcbind程序
yum install httpd -y
yum install nfs-utils rpcbind -y
3.#查看nfs服务(nfs共享服务器ip地址)
showmount -e 192.168.7.40
4.#开启nfs和rpnbind
systemctl start nfs
systemctl start rpcbind
5.#挂载站点(nfs共享服务器ip地址),这里有两种挂载,这里演示选择了临时挂载
第一种临时挂载
df
cat /var/www/html/index.html
mount 192.168.7.40:/opt/eva /var/www/html
第二种永久挂载
vim /etc/fstab
192.168.7.40:/opt/eva /var/www/html nfs defaults,_netdev 0 0
mount -a
6.#开启httpd服务并设置开机自启动
systemctl start httpd
systemctl enable httpd
7.#修改网关(负载调度器的内网及DNS)
vim /etc/sysconfig/network-scripts/ifcfg-ens33
GATEWAY=192.168.7.10
DNS=218.2.135.1
8.#重启网络服务
systemctl restart network
3.部署Web服务器2:192.168.7.30
1.#关闭防火墙和selinux
systemctl stop firewalld
setenforce 0
2.#安装httpd、nfs-utils和rpcbind程序
yum install httpd -y
yum install nfs-utils rpcbind -y
3.#查看nfs服务(nfs共享服务器ip地址)
showmount -e 192.168.7.40
4.#开启nfs和rpnbind
systemctl start nfs
systemctl start rpcbind
5.#挂载站点(nfs共享服务器ip地址),这里有两种挂载,这里演示选择了临时挂载
第一种临时挂载
df
cat /var/www/html/index.html
mount 192.168.7.40:/opt/es /var/www/html
第二种永久挂载
vim /etc/fstab
192.168.7.40:/opt/es /var/www/html nfs defaults,_netdev 0 0
mount -a
6.#开启httpd服务并设置开机自启动
systemctl start httpd
systemctl enable httpd
7.#修改网关(负载调度器的内网及DNS)
vim /etc/sysconfig/network-scripts/ifcfg-ens33
GATEWAY=192.168.7.10
DNS=218.2.135.1
8.#重启网络服务
systemctl restart network
4.部署负载调度服务器(内网ens33:192.168.7.10外网ens36:12.0.0.1)
1.#关闭防火墙和selinux
systemctl stop firewalld
setenforce 0
2.#安装ipvsadm
yum install ipvsadm* -y
3.#打开路由转发功能
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
sysctl -p
4.#防火墙做策略
#清空策略
iptables -F
#添加策略
iptables -t nat -A POSTROUTING -s 192.168.7.0/24 -o ens36 -j SNAT --to 12.0.0.1
#查看策略
iptables -nL -t net
5.#加载LVS内核模块
modprode ip_vs
cat /proc/net/ip_vs
6.#开启ipvsadm服务
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
7.#清空策略
ipvsadm -C
8.#制定策略
#指定IP地址 外网的入口 -s rr 轮询
ipvsadm -A -t 12.0.0.1:80 -s rr
#先指定虚拟服务器再添加真实服务器地址,-r:真实服务器地址 -m指定nat模式
ipvsadm -a -t 12.0.0.1:80 -r 192.168.7.20:80 -m
ipvsadm -a -t 12.0.0.1:80 -r 192.168.7.30:80 -m
#开启服务
ipvsadm
9.#查看策略
ipvsadm -ln
5.windows客户机验证(12.0.0.10)
四、LVS-DR模式的特点
1.Director Server和Real Server必须在同一个物理网络中
2.Real Server可以使用私有地址,也可以使用公网地址,如果使用公网地址,可以通过互联网对RIP进行直接访问
3.所有的请求报文经由Director Server,但回复响应报文不能经过Director Server
4.Real Server的网关不允许指向Director Server IP,即不允许数据包经过Director Server
5.Real Server上的IO接口配置VIP的IP地址
五、LVS负载均衡群集部署(DR模式)
配置环境:
Web服务器1:192.168.7.10
Web服务器2:192.168.7.20
DR服务器:192.168.7.30
虚拟回环VIP:192.168.7.40
客户端:192.168.7.50
1.部署DR负载调度服务器(192.168.7.30)
1. #关闭防火墙
systemctl stop firewalld.service
setenforce 0
2. #安装ipvsadm工具
yum install ipvsadm* -y
3. #配置虚拟IP地址(虚拟回环VIP:192.168.7.40)
cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens33:0
vim ifcfg-ens33:0
#删除UUID,dns与网关,注意子网
NAME=ens33:0
DEVICE=ens33:0
IPADDR=192.168.79.23
NETMASK=255.255.255.255
4. #重启网络服务、启动网卡
systemctl restart network
ifup ifcfg-ens33:0
5. #调整/proc响应参数
#对于 DR 群集模式来说,由于 LVS 负载调度器和各节点需要共用 VIP 地址,应该关闭 Linux 内核的重定向参数响应服务器不是一台路由器,那么它不会发送重定向,所以可以关闭该功能
vi /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
6. #刷新配置
sysctl -p
7. #加载模块
modprobe ip_vs
cat /proc/net/ip_vs
8. #配置负载分配策略,并启动服务
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
9. #清空ipvsadm,并做策略
##添加真实服务器-a 指定VIP地址及TCP端口-t 指定RIP地址及TCP端口 -r 指定DR模式-g#VIP地址 Web服务器1和2
ipvsadm -C
ipvsadm -A -t 192.168.7.40:80 -s rr
ipvsadm -a -t 192.168.7.40:80 -r 192.168.7.10:80 -g
ipvsadm -a -t 192.168.7.40:80 -r 192.168.7.20:80 -g
10. #保存设置
ipvsadm
ipvsadm -ln
ipvsadm-save > /etc/sysconfig/ipvsadm
2.部署Web服务器1(192.168.7.10)
1. #关闭防火墙
systemctl stop firewalld.service
setenforce 0
2. #安装httpd、开启服务
yum install httpd -y
systemctl start httpd
3. #创建一个站点文件
vim /var/www/html/index.html
this is Web Server 1
3. #添加回环网卡,修改回环网卡名,IP地址,子网掩码
cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.7.40
NETMASK=255.255.255.255
NETWORK=127.0.0.0
systemctl restart network
4. #设置路由到VIP虚拟回环
route add -host 192.168.7.40 dev lo:0
route -n
5. #开机执行命令
vim /etc/rc.d/rc.local
/usr/sbin/route add -host 192.168.7.40 dev lo:0
chmod +x /etc/rc.d/rc.local
6. #调整 proc 响应参数
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址,而是物理mac地址上的IP
vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
7. #刷新配置
sysctl -p
3.部署Web服务器2(192.168.7.20)
1. #关闭防火墙
systemctl stop firewalld.service
setenforce 0
2. #安装httpd、开启服务
yum install httpd -y
systemctl start httpd
3. #创建一个站点文件
vim /var/www/html/index.html
this is Web Server 2
3. #添加回环网卡,修改回环网卡名,IP地址,子网掩码
cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.7.40
NETMASK=255.255.255.255
NETWORK=127.0.0.0
systemctl restart network
4. #设置路由
route add -host 192.168.7.40 dev lo:0
route -n
5. #开机执行命令
vim /etc/rc.d/rc.local
/usr/sbin/route add -host 192.168.7.40 dev lo:0
chmod +x /etc/rc.d/rc.local
6. #调整 proc 响应参数
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址,而是物理mac地址上的IP
vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
sysctl -p