首先声明文章出处：《Lvs之NAT、DR、TUN三种模式的应用配置案例 》是由helloworld发表于速学堂的一篇文章，感谢helloworld的分享，内容非常全面充实，因此转载作为复习资料。
LVS
一、LVS简介
LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件之一。
二、LVS的分类
LVS-NAT：地址转换
LVS-DR： 直接路由
LVS-TUN：隧道
三、ipvsadm用法
其实LVS的本身跟iptables很相似,而且连命令的使用格式都很相似,其实LVS是根据iptables的框架开发的,那么LVS的本身分成了两个部分,第一部分是工作在内核空间的一个IPVS的模块,其实LVS的功能都是IPVS模块实现的,,第二部分是工作在用户空间的一个用来定义集群服务的一个工具ipvsadm, 这个工具的主要作用是将管理员定义的集群服务列表传送给工作在内核空间中的IPVS模块,下面来简单的介绍下ipvsadm命令的用法
四、lvs的10种调度算法
可以分为两大类
-
1.Fixed Scheduling Method 静态调服方法
-
<span style="white-space:pre">
</span>(1).RR 轮询
-
<span style="white-space:pre">
</span>(2).WRR 加权轮询
-
<span style="white-space:pre">
</span>(3).DH 目标地址hash
-
<span style="white-space:pre">
</span>(4).SH 源地址hash
-
-
2.Dynamic Scheduling Method 动态调服方法
-
<span style="white-space:pre">
</span>(1).LC 最少连接
-
<span style="white-space:pre">
</span>(2).WLC 加权最少连接
-
<span style="white-space:pre">
</span>(3).SED 最少期望延迟
-
<span style="white-space:pre">
</span>(4).NQ 从不排队调度方法
-
<span style="white-space:pre">
</span>(5).LBLC 基于本地的最少连接
-
<span style="white-space:pre">
</span>(6).LBLCR 带复制的基于本地的最少连接
LVS-NAT
一、架构平台环境
二、LVS-NAT架构
三、LVS-NAT模型实现负载均衡的工作方式
NAT模型其实就是通过网络地址转换来实现负载均衡的,它的工作方式几乎跟DNAT一模一样的,目前的DNAT只能转发到一个目标地址,早期的DNAT是可以将请求转发到多个目标的,在LVS出现之后就将此功能从DNAT种去掉了,下面来说说NAT模型的工作方式或者说NAT模型是怎么实现负载均衡的,根据上图
1.用户请求VIP(也可以说是CIP请求VIP)
2,Director Server 收到用户的请求后,发现源地址为CIP请求的目标地址为VIP,那么Director Server会认为用户请求的是一个集群服务,那么Director Server 会根据此前设定好的调度算法将用户请求负载给某台Real Server ；假如说此时Director Server 根据调度算法的结果会将请求分摊到RealServer1上去,那么Director Server 会将用户的请求报文中的目标地址,从原来的VIP改为RealServer1的IP,然后再转发给RealServer1
3,此时RealServer1收到一个源地址为CIP目标地址为自己的请求,那么RealServer1处理好请求后会将一个源地址为自己目标地址为CIP的数据包通过Director Server 发出去,
4.当Driector Server收到一个源地址为RealServer1 的IP 目标地址为CIP的数据包,此时Driector Server 会将源地址修改为VIP,然后再将数据包发送给用户。
四、LVS-NAT的性能瓶颈
在LVS/NAT的集群系统中，请求和响应的数据报文都需要通过负载调度器(Director)，当真实服务器(RealServer)的数目在10台和20台之间时，负载调度器(Director)将成为整个集群系统的新瓶颈。大多数Internet服务都有这样的特点：请求报文较短而响应报文往往包含大量的数据。如果能将请求和响应分开处理，即在负载调度器(Director)中只负责调度请求而响应直接(RealServer)返回给客户，将极大地提高整个集群系统的吞吐量。
五、部署环境
1、准备工作
-
<span style="font-size:18px;color:#ff0000;">LVS Director机器：
</span>
-
-
公网地址：vip
-
主机名：lvs
-
vip地址： 192.168.0.200
-
子网掩码：255.255.255.0
-
网关： 192.168.0.1
-
网络连接方式：Bridge
-
-
私网地址：dip
-
主机名：lvs
-
dip地址： 172.16.100.1
-
子网掩码：255.255.0.0
-
网关： 不指定网关
-
网络连接方式：Host-Only
-
-
<span style="font-size:18px;color:#ff0000;">RealServer机器：
</span>
-
3、在RealServer上部署httpd服务并测试
4、在Director上部署ipvs服务并测试
-
(1)确定本机ip_vs模块是否加载，也就是是否支持lvs，2.4.2后都支持了；然后安装ipvsadm 用户操作命令
-
[root@LVS ~]# grep -i "ip_vs" /boot/config-2.6.32-358.el6.x86_64
-
CONFIG_IP_VS=m #将ipvs定义成模块
-
CONFIG_IP_VS_IPV6=y
-
# CONFIG_IP_VS_DEBUG is not set
-
CONFIG_IP_VS_TAB_BITS=12
-
CONFIG_IP_VS_PROTO_TCP=y #IPVS支持哪些集群服务
-
CONFIG_IP_VS_PROTO_UDP=y
-
CONFIG_IP_VS_PROTO_AH_ESP=y
-
CONFIG_IP_VS_PROTO_ESP=y
-
CONFIG_IP_VS_PROTO_AH=y
-
CONFIG_IP_VS_PROTO_SCTP=y
-
CONFIG_IP_VS_RR=m #ipvs支持的十种调度算法
-
CONFIG_IP_VS_WRR=m
-
CONFIG_IP_VS_LC=m
-
CONFIG_IP_VS_WLC=m
-
CONFIG_IP_VS_LBLC=m
-
CONFIG_IP_VS_LBLCR=m
-
CONFIG_IP_VS_DH=m
-
CONFIG_IP_VS_SH=m
-
CONFIG_IP_VS_SED=m
-
CONFIG_IP_VS_NQ=m
-
CONFIG_IP_VS_FTP=m #支持代理ftp协议的
-
-
(2)安装ipvsadm
-
[root@LVS ~]# yum -y install ipvsadm
-
-
(3)添加集群服务
-
[root@LVS ~]# ipvsadm -A -t 192.168.0.200:80 -s rr #定义一个集群服务
-
[root@LVS ~]# ipvsadm -a -t 192.168.0.200:80 -r 172.16.100.10 -m #添加RealServer并指派调度算法为NAT
-
[root@LVS ~]# ipvsadm -a -t 192.168.0.200:80 -r 172.16.100.11 -m #添加RealServer并指派调度算法为NAT
-
[root@LVS ~]# ipvsadm -L -n #查看ipvs定义的规则列表
-
IP Virtual Server version 1.2.1 (size=4096)
-
Prot LocalAddress:Port Scheduler Flags
-
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
-
TCP 192.168.0.200:80 rr
-
-> 172.16.100.10:80 Masq 1 0 0
-
-> 172.16.100.11:80 Masq 1 0 0
-
[root@LVS ~]# cat /proc/sys/net/ipv4/ip_forward #查看Linux是否开启路由转发功能
-
0
-
[root@LVS ~]# echo 1 > /proc/sys/net/ipv4/ip_forward #启动Linux的路由转发功能
-
[root@LVS ~]# cat /proc/sys/net/ipv4/ip_forward
-
1
-
-
(4)测试访问http页面
-
[root@LVS ~]# curl http://192.168.0.200/index.html
-
RS2-web2 Allentuns.com #第一次是web2
-
[root@LVS ~]# curl http://192.168.0.200/index.html
-
RS1-web1 Allentuns.com #第二次是web1
-
[root@LVS ~]# curl http://192.168.0.200/index.html
-
RS2-web2 Allentuns.com #第三次是web1
-
[root@LVS ~]# curl http://192.168.0.200/index.html
-
RS1-web1 Allentuns.com #第四次是web2
-
-
(5)更改LVS的调度算并压力测试，查看结果
-
[root@LVS ~]# ipvsadm -E -t 192.168.0.200:80 -s wrr
-
[root@LVS ~]# ipvsadm -e -t 192.168.0.200:80 -r 172.16.100.10 -m -w 3
-
[root@LVS ~]# ipvsadm -e -t 192.168.0.200:80 -r 172.16.100.11 -m -w 1
-
[root@LVS ~]# ipvsadm -L -n
-
IP Virtual Server version 1.2.1 (size=4096)
-
Prot LocalAddress:Port Scheduler Flags
-
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
-
TCP 192.168.0.200:80 wrr
-
-> 172.16.100.10:80 Masq 3 0 2
-
-> 172.16.100.11:80 Masq 1 0 2
-
-
[root@LVS ~]# curl http://192.168.0.200/index.html
-
RS1-web1 Allentuns.com
-
[root@LVS ~]# curl http://192.168.0.200/index.html
-
RS1-web1 Allentuns.com
-
[root@LVS ~]# curl http://192.168.0.200/index.html
-
RS1-web1 Allentuns.com
-
[root@LVS ~]# curl http://192.168.0.200/index.html
-
RS2-web2 Allentuns.com
-
[root@LVS ~]# curl http://192.168.0.200/index.html
-
RS1-web1 Allentuns.com
-
-
(6)永久保存LVS规则并恢复
-
第一种方法：
-
[root@LVS ~]# service ipvsadm save
-
ipvsadm: Saving IPVS table to /etc/sysconfig/ipvsadm: [确定]
-
第二种方法：
-
[root@LVS ~]# ipvsadm -S > /etc/sysconfig/ipvsadm.s1
-
-
模拟清空ipvsadm规则来恢复
-
[root@LVS ~]# ipvsadm -C
-
[root@LVS ~]# ipvsadm -L -n
-
IP Virtual Server version 1.2.1 (size=4096)
-
Prot LocalAddress:Port Scheduler Flags
-
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
-
[root@LVS ~]# ipvsadm -R
< /etc/sysconfig/ipvsadm.s1
-
[
root@
LVS ~]#
ipvsadm
-L
-n
-
IP
Virtual
Server
version
1.2.1 (
size=
4096)
-
Prot
LocalAddress:Port
Scheduler
Flags
-
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
-
TCP 192.168.0.200:80 wrr
-
-> 172.16.100.10:80 Masq 3 0 0
-
-> 172.16.100.11:80 Masq 1 0 0
六、LVS-NAT服务控制脚本部署在Director上
七、分享LVS-NAT一键安装脚本
LVS-DR
一、LVS-DR架构
二、DR模型实现负载均衡的工作方式,
上面说了NAT模型的实现方式,那么NAT模型有个缺陷,因为进出的每个数据包都要经过Director Server,当集群系统负载过大的时候Director Server将会成为整个集群系统的瓶颈,那么DR模型就避免了这样的情况发生,DR模型在只有请求的时候才会经过Director Server, 回应的数据包由Real Server 直接响应用户不需要经过Director Server,其实三种模型中最常用的也就是DR模型了,下面来说DR模型具体是怎么实现负载均衡的,根据上图。
1, 首先用户用CIP请求VIP
2, 根据上图可以看到,不管是Director Server还是Real Server上都需要配置VIP,那么当用户请求到达我们的集群网络的前端路由器的时候,请求数据包的源地址为CIP目标地址为VIP,此时路由器会发广播问谁是VIP,那么我们集群中所有的节点都配置有VIP,此时谁先响应路由器那么路由器就会将用户请求发给谁,这样一来我们的集群系统是不是没有意义了,那我们可以在网关路由器上配置静态路由指定VIP就是Director Server,或者使用一种机制不让Real Server 接收来自网络中的ARP地址解析请求,这样一来用户的请求数据包都会经过Director Servre
3,当Director Server收到用户的请求后根据此前设定好的调度算法结果来确定将请求负载到某台Real Server上去,假如说此时根据调度算法的结果,会将请求负载到Real Server 1上面去,此时Director Server 会将数据帧中的目标MAC地址修改为Real Server1的MAC地址,然后再将数据帧发送出去
4,当Real Server1 收到一个源地址为CIP目标地址为VIP的数据包时,Real Server1发现目标地址为VIP,而VIP是自己,于是接受数据包并给予处理,当Real Server1处理完请求后,会将一个源地址为VIP目标地址为CIP的数据包发出去,此时的响应请求就不会再经过Director Server了,而是直接响应给用户
real server上定义arptables规则，如果用户arp广播请求的目标地址是本机的vip则不予相应，或者说相应的报文不让出去，很显然网关（gateway）是接受不到的，也就是
外通告是的通告级别。【提示：很显然我们现在的系统一般在内核中都是支持这些参数的，我们用参数的方式进行调整更具有朴实性，它还不依赖于额外的条件，像arptables,
补充LVS-DR原理......
无论是学习一门编程语言也好，学习一门专业也好，在或者是学习一门手艺也罢！
记得！！！
学习的基础就是理论，理论是非常重要的，在几年的运维中，我一直都把理论放在第一位、说不上为什么，可能是几年的额感悟吧！
言归正传，学习lvs最好的方法就是学习它的工作原理，学习它的内部架构等等，lvs的部署是很简单的，但是在原理和理解方面往往都会有很大的偏差。在这里，我相信如果大家把这篇博文仔仔细细的看一遍，对lvs一定会有一个深入的体会和了解，中秋三天送给博友的礼物！哈哈 咱就不提月饼了。嘿嘿 同时也祝自己面试成功 夜已黑 2014-09-09 01:45:00
三、配置集群服务
1、在Real Server1 和Real Server2上做以下配置
2、在Director Server上做以下配置
3、浏览器访问测试
四、分享脚本
Director脚本:
RealServer脚本:
LVS-TUN
TUN的工作机制跟DR一样，只不过在转发的时候，它需要重新包装IP报文。这里的real server（图中为RIP）离得都比较远。用户请求以后，到director上的VIP上，它跟DR模型一样，每个realserver上既有RIP又有VIP，Director就挑选一个real server进行响应，但是director和real server并不在同一个网络上，这时候就用到隧道了，director进行转发的时候，一定要记得CIP和VIP不能动。我们转发是这样的，让它的CIP和VIP不动，在它上面再加一个IP首部，再加的IP首部源地址是DIP，目标地址的RIP的IP地址。收到报文的RIP，拆掉报文以后发现了里面还有一个封装，它就知道了，这就是隧道。
其实数据转发原理和DR是一样的，不过这个我个人认为主要是位于不同位置（不同机房）；LB是通过隧道进行了信息传输，虽然增加了负载，可是因为地理位置不同的优势，还是可以参考的一种方案；
优点：负载均衡器只负责将请求包分发给物理服务器，而物理服务器将应答包直接发给用户。所以，负载均衡器能处理很巨大的请求量，这种方式，一台负载均衡能为超过100台的物理服务器服务，负载均衡器不再是系统的瓶颈。使用VS-TUN方式，如果你的负载均衡器拥有100M的全双工网卡的话，就能使得整个Virtual Server能达到1G的吞吐量。
不足：但是，这种方式需要所有的服务器支持"IP Tunneling"(IP Encapsulation)协议；
LVS的健康状态检查
在LVS模型中，director不负责检查RS的健康状况，这就使得当有的RS出故障了，director还会将服务请求派发至此服务器，这种情况对用户、企业都是很不爽的，哪个用户倒霉说不定就遇到类似了，为了让director更人性化、可靠还要给director提供健康检查功能；如何实现？Director没有自带检查工具，只有手动编写脚本给director实现健康状态检查功能！
LVS持久连接
一、定义
持久连接是指无论LVS使用什么算法，LVS持久都能实现在一定时间内，将来自同一个客户端请求派发至此前选定的RS
二、原理
无论使用LVS任何调度算法，LVS持久连接都能实现在一定时间内，将来自同一个客户端请求派发至此前选定的服务器；当一个新的客户端请求连接时，LVS就会在内存的缓冲区内记录客户端的IP以及所选的服务器，在一定时间内用户再次访问时，LVS会通过内存缓冲区来查找是否有此用户记录，如果有将直接连接到已选定的服务器上，否则记录IP及连接的服务器；这个内存缓冲区称之为持久连接模板，它存储了每一个客户端，及分配给它的RS的映射关系。
持久连接在一定环境下还是非常有用的，由于在SSL会话中，比如当用户和服务器好不容易建立了SSL会话，用户一不小心刷新了页面，director有给用户分发了一个新的服务器，用户还要从新建立SSL连接请求，这是很不爽的！这种连接方式称为持久端口连接(PPC)，将来自于同一个客户端对同一个集群服务的请求，始终定向至此前选定的RS。
持久连接还会将同个用户的其他服务请求连接到已建立连接的服务器上，比如当用户访问web服务时，还要能实现https认证，如果访问web时，分配了一个RS，要通过https认证则又分配了一个RS；这样就产生了矛盾，它认证的不是一个RS，使得访问无法安全进行；因此持久连接是必不可少的，这种称为持久客户端连接(PCC)，将来自于同一个客户端对所有端口的请求，始终定向至此前选定的RS；把所有端口统统定义为集群服务，一律向RS转发！
持久防火墙标记连接(PNMPP)：定义端口间的姻亲关系，将特定端口定义在同一个RS上。这是通过在防火墙内部PREROUTING链上，将规定的端口打上标记；比如：80端口标记为10，23端口也标记为10；这样在写规则时只需将端口该为10即可，80和23端口就会在同一个RS上响应了
三、持久连接的分类
1、PPC 将来自于同一个客户端对同一个集群服务的请求，始终定向至此前选定的RS； 持久端口连接
2、PCC 将来自于同一个客户端对所有端口的请求始终定向至此前选定的RS 持久客户端连接
把所有端口统统定义为集群服务，一律向RS转发：
定义所有的服务
3、PNMPP 持久防火墙标记连接
定义部分服务
四、持久连接的命令
ipvsadm -A|E ... -p timeout：
timeout：持久连接时长，默认300秒：单位是秒
五、额外的补充
文章最后又出现了这个—— 本文出自 “郑彦生” 博客，请务必保留此出处
http://467754239.blog.51cto.com/4878013/1549699
好吧，你们都是原作者。
2893
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
