一. LVS-DR
LVS结构与工作原理
LVS由前端的负载均衡器(Load Balancer,LB)和后端的真实服务器(Real Server,RS)群组成。RS间可通过局域网或广域网连接。LVS的这种结构对用户是透明的,用户只能看见一台作为LB的虚拟服务器(Virtual Server),而看不到提供服务的RS群。当用户的请求发往虚拟服务器,LB根据设定的包转发策略和负载均衡调度算法将用户请求转发给RS。RS再将用 户请求结果返回给用户。同请求包一样,应答包的返回方式也与包转发策略有关。
IP虚拟服务器IPVS
IPVS软件实现了三种IP负载均衡技术:
[1].VS/NAT
通过网络地址转换,调度器重写请求报文的目标地址,根据预设的调度算法,将请求分派给后端的真实服务器;真实服务器的响应报文通过调度器时,报文的源地址被重写,再返回给客户,完成整个负载调度过程。
[2].VS/TUN
采用NAT技术时,由于请求和响应报文都必须经过调度器地址重写,当客户请求越来越多时,调度器的处理能力将成为瓶颈。为了解决这个问题,调度器把请求报 文通过IP隧道转发至真实服务器,而真实服务器将响应直接返回给客户,所以调度器只处理请求报文。由于一般网络服务应答比请求报文大许多,采用VS/TUN技术后,集群系统的最大吞吐量可以提高10倍。
[3].VS/DR
VS/DR通过改写请求报文的MAC地址,将请求发送到真实服务器,而真实服务器将响应直接返回给客户。同VS/TUN技术一样,VS/DR技术可极大地 提高集群系统的伸缩性。这种方法没有IP隧道的开销,对集群中的真实服务器也没有必须支持IP隧道协议的要求,但是要求调度器与真实服务器都有一块网卡连 在同一物理网段上
本篇我们先来介绍介绍DR模式
DR(Direct Routing)模式配置实现LVS
route(路由)-> F5 -> lvs(4) -> nginx(7) / haproxy -> web
LVS配置(DR)
在server1:
配置负载均衡,高可用yum源
vim /etc/yum.repos.d/rhel-source.repo
配置虚拟ip
ip addr add 172.25.11.100/24 dev eth1
ip addr
yum install ipvsadm -y
ipvsadm -A -t 172.25.11.100:80 -s rr #添加策略,指定vip172.25.11.100:80,-t指tcp,-s rr指定轮询
ipvsadm -a -t 172.25.11.100:80 -r 172.25.11.2:80 -g #将虚拟的ip指定到真实的ip,-r指定realserver -t指定tcp协议 -g指dr模式
ipvsadm -a -t 172.25.11.100:80 -r 172.25.11.3:80 -g
ipvsadm -ln #列出ipvsadm策略
/etc/init.d/ipvsadm save 保存关机再开机后还存在
在server2中:
/etc/init.d/httpd start
ip addr add 172.25.11.100/32 dev eth1
ip addr
为防止客户端在访问vip时直接访问到realserver,在rs上设置一定的策略
yum install arptables_jf -y
arptables -A IN -d 172.25.11.100 -j DROP #访问realserver的100ip时的请求直接丢弃
arptables -A OUT -s 172.25.11.100 -j mangle --mangle-ip-s 172.25.11.2 realserver发出的信息全部转为他的真实ip
arptables -nL
/etc/init.d/arptables_jf save #永久保存设置
在server3上:
/etc/init.d/httpd start
ip addr add 172.25.11.100/32 dev eth1
ip addr
yum install arptables_jf -y
arptables -A IN -d 172.25.11.100 -j DROP #访问realserver的100ip时的请求直接丢弃
arptables -A OUT -s 172.25.11.100 -j mangle --mangle-ip-s 172.25.11.3 realserver发出的信息全部转为他的真实ip
arptables -nL
/etc/init.d/arptables_jf save
在真机中测试:
curl 172.25.11.100 访问调度器
arp -an | grep 100 查看100的mac地址,会发现访问的是调度器的ip,ip与调度器的mac对应
arp -d 172.25.11.100 清空arp的缓存
arp -a 可以查看arp所有请求信息
以上操作无法实现健康检查我们通过ldiretord来实现
在server1上:
yum install -y ldirectord-3.9.5-3.1.x86_64.rpm
rpm -ql ldirectord #查找配置文件
cp /usr/share/doc/ldirectord-3.9.5/ldirectord.cf /etc/ha.d/
#复制到这里的原因是/etc/init.d/ldirectord中配置文件指向为这里
修改配置文件
cd /etc/ha.d/
vim ldirectord.cf
做如下修改:
25 virtual=172.25.11.100:80 #vip指定
26 real=172.25.11.2:80 gate #后端指定
27 real=172.25.11.3:80 gate
28 fallback=127.0.0.1:80 gate #当前面的都挂掉以后调度器充当服务器
36 request="index.html" #后端检查位置
37 #receive="Test Page" #后端检查页面内容
/etc/init.d/ipvsadm stop
/etc/init.d/ldirectord start #重新启动ldirectord服务
ipvsadm -ln 查看规则,ldirectord会将规则自动添加上去
并且该服务提供健康检查,如果有一个RS挂掉以后,他会在规则中将它去除,如果全部都挂掉以后,VS将充当服务器,一般这个服务器的页面写该网站正在维护,便于减少流量
vim /etc/httpd/conf/httpd.conf 将端口改为80端口
/etc/init.d/httpd restart
cd /var/www/html/
vim index.html
在真机中测试:
当server2和server3都没有启动apache时server1自己会顶上,一旦后端服务器(realserver)任何一个开着server1都不会工作的。
keepalived
keepalived这个服务也提供高可用,但是它可以提供负载均衡,Keepalived的作用是检测服务器的状态,如果有一台web服务器宕机,或工作出现故障,Keepalived将检测到,并将有故障的服务器从系统 中剔除,同时使用其他服务器代替该服务器的工作,当服务器工作正常后Keepalived自动将服务器加入到服务器群中,这些工作全部自动完成,不需要人 工干涉,需要人工做的只是修复故障的服务器。
在server1中:
1)找到一个keepalived安装包
tar zxf keepalived-2.0.6.tar.gz
ls
cd keepalived-2.0.6
./configure --prefix=/usr/local/keepalived --with-init=SYSV
yum search OpenSSL
yum install openssl-devel.x86_64 -y
./configure --prefix=/usr/local/keepalived --with-init=SYSV #源码安装三部曲
make
make install
cd /usr/local/keepalived/
ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
ln -s /usr/local/keepalived/etc/keepalived/ /etc/
ln -s /usr/local/keepalived/sbin/keepalived /sbin/
chmod +x /usr/local/keepalived/etc/rc.d/init.d/keepalived
创建备用服务器的时候可以将/etc/init.d/keepalived 直接发给备用服务器,然后创建软链接
如果可以正常启动服务说明安装过程没有问题
cd /etc/keepalived/
vim keepalived.conf #编辑配置文件,修改后的内容如下
! Configuration File for keepalived
global_defs {
notification_email {
root@localhost #邮件发送到地址
}
notification_email_from keepalived@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
# vrrp_strict 所用版本2.06 如果不将这个语句注释,启动以后会自动给火墙里面加拒绝所有的策略
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 {
state MASTER # 将这个机器设置为主服务器,在备用机器里面应该设置为BACKUP
interface eth0
virtual_router_id 12
priority 100 #权重越大越优先,备用机器可以将权重减小,如果性能相同,无所谓
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.12.100 #vip
}
}
virtual_server 172.25.12.100 80 {
delay_loop 3
lb_algo rr
lb_kind DR #DR模型
#persistence_timeout 50
protocol TCP
real_server 172.25.12.2 80 { #RS的配置
weight 1
TCP_CHECK
connect_timeout 3
retry 3
delay_before_retry 3
}
}
real_server 172.25.12.3 80 { #RS配置
weight 1
TCP_CHECK
connect_timeout 3
retry 3
delay_before_retry 3
}
}
}
-
测试
echo c > /proc/sysrq-trigger 直接使内核崩溃,可以模拟VS挂掉,重新启动以后恢复
curl 172.25.12.100 如果两个RS的发布页面不同,执行这条命令多次会轮流交换,实现(负载均衡)
可以创建两个RS两个VS来测试
RS中安装httpd
该软件也有健康检查功能,但是如果RS都挂掉以后就全挂了,VS不会去充当RS
如果将主VS挂掉以后,备用的VS将会自动顶替位置 (高可用)
注意:需要在同一个网段
总结:ldirectord是与keepalived之间是冲突的,所以需要关闭ldirectord在进行keepalived 的实验的时候。
idrectord 提供负载均衡,提供健康检查,可以VS充当RS来提供页面
keepalived需要源码编译,提供高可用和负载均衡,健康检查,不能VS充当RS