31.LVS

1.cookie与session：当用户用浏览器首次打开一个网站时，网站会随机发送一段数字作为用户的ID缓存到用户本地，而用户在网站上的行为会被记录在服务器内存的一个session中，当用户再次访问时cookie中的ID会与session进行匹配从而得知用户用户之前的操作记录（例如放入购物车的商品、浏览过的商品等）
2.会话追踪：解决多个节点中同一个用户访问时访问记录可能在不同主机而访问不到的情况

1.做用户绑定，来自同一个用户的访问始终发送给同一个用户
			通过IP识别同一个用户
			通过cookie识别同一个用户
	缺陷：如果这个服务器有异常也不能访问其他负载均衡服务器
2.将多个服务器绑定成一个集群，使用同一组会话	
	缺陷：消耗大量内存空间和带宽，不适合大规模集群
3.共享存储，多个服务器生成的session保存在同一个内存存储服务器中，同样结构化数据可以共享一个数据库，半结构化 或非结构化数据可以共享一个NFS	
	缺陷：一个共享存储故障会导致整个集群不可用（单点故障 简写：SPOF）
	优化（负载均衡器）：无论用户访问还是后端共享存储都需要冗余结构，所以就需要负载均衡器（调度器） ，调度器也需要冗余（高可用）

3.Linux Cluster：

Cluster：计算机集合，为解决某个特定问题组合起来形成的单个系统；

Linux Cluster类型：
	LB：Load Balancing，负载均衡；
	HA：High Availiablity，高可用；
		A=MTBF/（MTBF+MTTR）  :系统可用性=平均无故障时间/（平均无故障时间+平均修复时间）
			(0,1)：90%, 95%, 99%, 99.5%,  99.9%, 99.99%, 99.999%, 99.9999%
	HP：High Performance，高性能；
	
分布式系统：
		分布式存储
		分布式计算
	
系统扩展方式：
	Scale UP：向上扩展(性价比较低)
	Scale Out：向外扩展

4.LB Cluster简介：

LB Cluster的实现：
	硬件：
		F5 Big-IP
		Citrix Netscaler
		A10 A10
	软件：
		lvs：Linux Virtual Server
		nginx
		haproxy
		ats：apache traffic server 
		perlbal
		pound
		
	基于工作的协议层次划分：
		传输层（通用）：（DPORT）
			lvs：（真正的内核级实现，附着于内核的netfiler五个内置的钩子函数，所以没有端口，所以不受应用层端口数（最多65535）、文件数等限制）
			nginx：（stream）
			haproxy：（mode tcp）
		应用层（专用）：（自定义的请求模型分类）
			proxy server：
				http：nginx(http), httpd, haproxy(mode http), ...
				fastcgi：nginx, httpd, ...
				mysql：ProxySQL,  ...
				...
				
		站点指标：
			PV：Page View
			UV：Unique Vistor
			IP：

lvs：Linux Virtual Server 
	VS: Virtual Server
	RS: Real Server
			
	l4：四层路由器，四层交换机；
		VS：根据请求报文的目标IP和目标协议及端口将其调度转发至某RealServer，根据调度算法来挑选RS；
		
	iptables/netfilter：
		iptables：用户空间的管理工具；
		netfilter：内核空间上的框架；
			流入：PREROUTING --> INPUT 
			流出：OUTPUT --> POSTROUTING
			转发：PREROUTING --> FORWARD --> POSTROUTING
			
		DNAT：目标地址转换； PREROUTING；
		SNAT：源地址转换；POSTROUTING；
		
	lvs: ipvsadm/ipvs
		ipvsadm：用户空间的命令行工具，规则管理器，用于管理集群服务及相关的RealServer；
		ipvs：工作于内核空间的netfilter的INPUT钩子之上的框架；
		
	lvs集群类型中的术语：
		vs：Virtual Server, Director, Dispatcher, Balancer
		rs：Real Server, upstream server, backend server
		四种IP简称：
		CIP：Client IP, VIP: Virtual serve IP, RIP: Real server IP, DIP: Director IP
		关系：
		CIP <--> VIP == DIP <--> RIP 
		
	lvs集群的类型：
		lvs-nat：修改请求报文的目标IP；多目标IP的DNAT；
		lvs-dr：操纵封装新的MAC地址（在通一个交换机上）；
		lvs-tun：在原请求IP报文之外新加一个IP首部；
		lvs-fullnat：修改请求报文的源和目标IP；

		
		lvs-nat：
			多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发；
			
			（1）RIP和DIP必须在同一个IP网络，且应该使用私网地址；RS的网关要指向DIP；
			（2）请求报文和响应报文都必须经由Director转发；Director易于成为系统瓶颈；
			（3）支持端口映射，可修改请求报文的目标PORT；
			（4）vs必须是Linux系统，rs可以是任意系统；
			
		lvs-dr：
			Direct Routing，直接路由；
			
			通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变；
			
			Director和各RS都得配置使用VIP；
			
			(1) 确保前端路由器将目标IP为VIP的请求报文发往Director：
				(a) 在前端网关做静态绑定；
				(b) 在RS上使用arptables；
				(c) 在RS上修改内核参数以限制arp通告及应答级别；
					arp_announce（限制广播通告）
					arp_ignore（限制广播应答）
			(2) RS的RIP可以使用私网地址，也可以是公网地址，VIP必须是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director；
			(3) RS跟Director要在同一个物理网络；
			(4) 请求报文要经由Director，但响应不能经由Director，而是由RS直接发往Client；
			(5) 不支持端口映射；

		lvs-tun：适用于跨地域之间的LB
			转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而是在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）；
			
			(1) DIP, VIP, RIP都应该是公网地址；
			(2) RS的网关不能，也不可能指向DIP；
			(3) 请求报文要经由Director，但响应不能经由Director；
			(4) 不支持端口映射；
			(5) RS的OS得支持隧道功能；
			
		lvs-fullnat：
			通过同时修改请求报文的源IP地址和目标IP地址进行转发；
				CIP <--> DIP 
				VIP <--> RIP 
			
			(1) VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP；
			(2) RS收到的请求报文源地址是DIP，因此，只能响应给DIP；但Director还要将其发往Client；
			(3) 请求和响应报文都经由Director；
			(4) 支持端口映射；
			
			注意：此类型默认不支持；
			
			
	总结：
		lvs-nat, lvs-fullnat：请求和响应报文都经由Director；
			lvs-nat：RIP的网关要指向DIP；
			lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信；
		lvs-dr, lvs-tun：请求报文要经由Director，但响应报文由RS直接发往Client；
			lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发；
			lvs-tun：通过在原IP报文之外封装新的IP首部实现转发，支持远距离通信；

ipvs scheduler：
	根据其调度时是否考虑各RS当前的负载状态，可分为静态方法和动态方法两种：
		
		静态方法：仅根据算法本身进行调度；
			RR：roundrobin，轮询；
			WRR：Weighted RR，加权轮询；
			SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定；
					缺点：比较粗糙的绑定方法无法识别内网中（同一个IP）的用户，lvs只能识别四层网络结构所以只能识别IP和端口，如果需要识别内网中的用户，就需要识别七层的cookie，可以nginx等中间件实现
			DH：Destination Hashing；目标地址哈希，将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡（提高缓存命中）；
		
		动态方法：主要根据每RS当前的负载状态及调度算法进行调度；
				补充：互动链接（activeconns）是非活动链接（inactiveconns）使用资源的256倍
			Overhead=
		
			LC：least connections
				Overhead=activeconns*256+inactiveconns
			WLC：Weighted LC （默认算法，大部分情况是最优算法）
				Overhead=(activeconns*256+inactiveconns)/weight
			SED：Shortest Expection Delay  为了刚开始接受请求负载状态都为0时选择权重（weight）大的RS接受请求
				Overhead=(activeconns+1)*256/weight
			NQ：Never Queue  先轮询一次，每个RS先分一个请求，然后再进行SED
			
			LBLC：Locality-Based LC，动态的DH算法；（之前绑定过的IP还是会访问原来的RS，如果是第一次请求的，就计算负载状态选一个较小的）
			LBLCR：LBLC with Replication，带复制功能的LBLC；

5.ipvsadm/ipvs：

	集群和集群之上的各RS是分开管理的；
		集群定义
		RS定义 

	ipvs：
		~]# grep -i -C 10 "ipvs" /boot/config-VERSION-RELEASE.x86_64（查看内核是否装在ipvs模块）
		
			支持的协议：TCP， UDP， AH， ESP， AH_ESP,  SCTP；
			
		ipvs集群：
			集群服务
			服务上的RS
			
	ipvsadm：
		程序包：ipvsadm
			Unit File: ipvsadm.service
			主程序：/usr/sbin/ipvsadm
			规则保存工具：/usr/sbin/ipvsadm-save
			规则重载工具：/usr/sbin/ipvsadm-restore
			配置文件：/etc/sysconfig/ipvsadm-config
		
		
		ipvsadm命令：
			核心功能：
				集群服务管理：增、删、改；
				集群服务的RS管理：增、删、改；
				查看：
				
			ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] [-b sched-flags]
			ipvsadm -D -t|u|f service-address
			ipvsadm -C
			ipvsadm -R
			ipvsadm -S [-n]
			ipvsadm -a|e -t|u|f service-address -r server-address [options]
			ipvsadm -d -t|u|f service-address -r server-address
			ipvsadm -L|l [options]
			ipvsadm -Z [-t|u|f service-address]

			管理集群服务：增、改、删；
				增、改：
					ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
					
				删：
					ipvsadm -D -t|u|f service-address
					
				service-address：
					-t|u|f：
						-t: TCP协议的端口，VIP:TCP_PORT
						-u: UDP协议的端口，VIP:UDP_PORT
						-f：firewall MARK，是一个数字；
						
				[-s scheduler]：指定集群的调度算法，默认为wlc；
			
			管理集群上的RS：增、改、删；
				增、改：
					ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
			
				删：
					ipvsadm -d -t|u|f service-address -r server-address
					
				server-address：
					rip[:port]
					
				选项：
					lvs类型：
						-g: gateway, dr类型
						-i: ipip, tun类型
						-m: masquerade, nat类型
						
					-w weight：权重；
			
			清空定义的所有内容：
				ipvsadm -C
			
			查看：
				ipvsadm -L|l [options]
					--numeric, -n：numeric output of addresses and ports  （以数字方式显示IP，不解反解）
					--exact：expand numbers (display exact values)	（更详细方式显示）
					计数器：
					--connection， -c：output of current IPVS connections （当前的连接状态数 ）
					--stats：output of statistics information （统计数据）
					--rate ：output of rate information	（每秒速率数据）
				
保存及重载规则：
	保存：建议保存至/etc/sysconfig/ipvsadm
		ipvsadm-save > /PATH/TO/IPVSADM_FILE
		ipvsadm -S > /PATH/TO/IPVSADM_FILE
		systemctl stop ipvsadm.service 
	
	重载：	
		ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
		ipvsadm -R < /PATH/FROM/IPVSADM_FILE
		systemctl restart ipvsadm.service 

6.部署实践
补充：桥接、NAT以及仅主机模式的详细介绍和区别

负载均衡集群设计时要注意的问题：
	(1) 是否需要会话保持；
	(2) 是否需要共享存储；
		共享存储：NAS， SAN， DS（分布式存储）
		数据同步：

	lvs-nat：
		
		设计要点：
			(1) RIP与DIP在同一IP网络, RIP的网关要指向DIP；
			(2) 支持端口映射；
			(3) Director要打开核心转发功能；

拓扑：

配置集群命令：
ipvsadm -A -t 172.16.0.6:80 -s rr
ipvsadm -a -t 172.16.0.6:80 -r 192.168.10.2 -m
ipvsadm -a -t 172.16.0.6:80 -r 192.168.10.3 -m
查看：
ipvsadm -ln
修改成加权轮询：
ipvsadm -E -t 172.16.0.6:80 -s wrr
ipvsadm -e -t 172.16.0.6:80 -r 192.168.10.2 -m -w 2
(可以定义多个不同服务，每个服务同样的方式添加一个集群)
统计信息：可以 ipvsadm -Z 清空统计信息
			          ipvsadm -ln -c  查看有哪些链接

	lvs-dr：
		
		dr模型中，各主机只需一个物理网卡，并且上均需要配置VIP，其中Director的vip配置在物理网卡上，RS的vip配置在回环网卡（lo）上，并且三台服务器都指向同一个网关，解决地址冲突的方式有三种：
			(1) 在前端网关做静态绑定；
			(2) 在各RS使用arptables；
			(3) 在各RS修改内核参数，来限制arp响应和通告的级别；
				限制响应级别：arp_ignore
					0：默认值，表示可使用本地任意接口上配置的任意地址进行响应；
					1: 仅在请求的目标IP配置在本地主机的接收到请求报文接口上时，才给予响应；
				限制通告级别：arp_announce
					0：默认值，把本机上的所有接口的所有信息向每个接口上的网络进行通告；
					1：尽量避免向非直接连接网络进行通告；
					2：必须避免向非本网络通告；

		RS的预配置脚本：
			#!/bin/bash
			#
			vip=10.1.0.5
			mask='255.255.255.255'

			case $1 in
			start)
				echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
				echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
				echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
				echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

				ifconfig lo:0 $vip netmask $mask broadcast $vip up
				route add -host $vip dev lo:0    (如果目标地址是$vip，则要经过lo:0接口，这样相应的报文也会由lo:0的$vip发出)
				;;
			stop)
				ifconfig lo:0 down

				echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
				echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
				echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
				echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce

				;;
			*) 
				echo "Usage $(basename $0) start|stop"
				exit 1
				;;
			esac					

		VS的配置脚本：
			#!/bin/bash
			#
			vip='10.1.0.5'
			iface='eno16777736:0'
			mask='255.255.255.255'
			port='80'
			rs1='10.1.0.7'
			rs2='10.1.0.8'
			scheduler='wrr'
			type='-g'

			case $1 in
			start)
				ifconfig $iface $vip netmask $mask broadcast $vip up
				iptables -F
				
				ipvsadm -A -t ${vip}:${port} -s $scheduler
				ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1
				ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1
				;;
			stop)
				ipvsadm -C
				ifconfig $iface down
				;;
			*)
				echo "Usage $(basename $0) start|stop"
				exit 1
				;;
			esac	

7.lvs persistence：持久连接

	持久连接模板[-p [timeout]]：实现无论使用任何调度算法，在一段时间内，能够实现将来自同一个地址的请求始终发往同一个RS，默认360S；
	
		ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
		
	port Affinity：
		每端口持久：每个端口对应定义为一个集群服务，每集群服务单独调度；
		每防火墙标记持久：基于防火墙标记定义集群服务；可实现将多个端口上的应用统一调度，即所谓的port Affinity；
		每客户端持久：基于0端口定义集群服务，即将客户端对所有应用的请求统统调度至后端主机，必须定义为持久模式；（如果端口配置为0，所有端口绑定为一个集群，必须用持久链接）

8…应用配置实践：

场景一：需要把80端口和443端口当作一个应用通过一个集群一个算法来进行调度，防止出现缓存不同步和负载压力不均的状态：
    可以借助防护墙工具把这两端口在PREROUTING链上打上同一个标记，打标记方法（在Director主机）：:
    		   # iptables -t mangle -A PREROUTING -d $vip -p tcp -m multiport  --dport 80,443 -j MARK --set-mark 3(随便给个十进制数字)
	基于标记定义集群服务：
		# ipvsadm -A -f 3 -s sh
		#ipvsadm -a  -f 3 -r 172.16.0.7 -g
		#ipvsadm -a  -f 3 -r 172.16.0.8 -g

9.冗余：
(1) Director不可用，整个系统将不可用；SPoF
解决方案：高可用
keepalived
heartbeat/corosync
(2) 某RS不可用时，Director依然会调度请求至此RS；
解决方案：对各RS的健康状态做检查，失败时禁用，成功时启用；
keepalived
heartbeat/corosync, ldirectord
检测方式：
(a) 网络层检测；
(b) 传输层检测，端口探测；
© 应用层检测，请求某关键资源；

10.补充： 了解即可，一般很少用到:
ldirectord：(需要运行在director主机之上，配置完会自动生成集群规则)
	Daemon to monitor remote services and control Linux Virtual Server. ldirectord is a daemon to monitor and administer real servers in a cluster of load balanced virtual servers. ldirectord typically is started from heartbeat but can also be run from the command line.
	
	配置示例：
		checktimeout=3
		checkinterval=1
		fallback=127.0.0.1:80
		autoreload=yes
		logfile="/var/log/ldirectord.log"
		quiescent=no
		virtual=5
			real=172.16.0.7:80 gate 2
			real=172.16.0.8:80 gate 1
			fallback=127.0.0.1:80 gate
			service=http
			scheduler=wrr
			checktype=negotiate
			checkport=80
			request="index.html"
			receive="CentOS"