本篇主要介绍集群的负载均衡。
lvs是一种集群(Cluster)技术,采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率,将请求均衡地转移到不同的服务器上执行,且调度器自动屏蔽掉服务器的故障,从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的,而且无需修改客户端和服务器端的程序。为此,在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。
LVS主要组成部分为:
负载调度器(load balancer/ Director),它是整个集群对外面的前端机,负责将客户的请求发送到一组服务器上执行,而客户认为服务是来自一个IP地址(我们可称之为虚拟IP地址)上的。
服务器池(server pool/ Realserver),是一组真正执行客户请求的服务器,执行的服务一般有WEB、MAIL、FTP和DNS等。
共享存储(shared storage),它为服务器池提供一个共享的存储区,这样很容易使得服务器池拥有相同的内容,提供相同的服务。
LVS负载均衡方式:
1.Virtual Server via Network Address Translation NAT(VS/NAT)
VS/NAT是一种最简单的方式,所有的RealServer只需要将自己的网关指向Director即可。客户端可以是任意操作系统,但此方式下,一个Director能够带动的RealServer比较有限。在VS/NAT的方式下,Director也可以兼为一台RealServer。
2.Virtual Server via IP Tunneling(VS/TUN)
IP隧道(IP tunneling)是将一个IP报文封装在 另一个IP报文的技术,这可以使得目标为一个IP地址的数据报文能被封装和转发到另一个IP地址。IP隧道技术亦称为IP封装技术(IP encapsulation)。IP隧道主要用于移动主机和虚拟私有网络(Virtual Private Network),在其中隧道都是静态建立的,隧道一端有一个IP地址,另一端也有唯一的IP地址。它的连接调度和管理与VS/NAT中的一样,只是它的 报文转发方法不同。调度器根据各个服务器的负载情况,动态地选择一台服务器,将请求报文封装在另一个IP报文中,再将封装后的IP报文转发给选出的服务器;服务器收到报文后,先将报文解封获得原来目标地址为 VIP 的报文,服务器发现VIP地址被配置在本地的IP隧道设备上,所以就处理这个请求,然后根据路由表将响应报文直接返回给客户。
3.VS/DR 直连模式
VS/DR方式是通过改写请求报文中的MAC地址部分来实现的。Director和RealServer必需在物理上有一个网卡通过不间断的局域网相连。 RealServer上绑定的VIP配置在各自Non-ARP的网络设备上(如lo或tunl),Director的VIP地址对外可见,而RealServer的VIP对外是不可见的。RealServer的地址即可以是内部地址,也可以是真实地址。
VS/DR的工作流程:它的连接调度和管理与VS/NAT和VS/TUN中的一样,它的报文转发方法又有不同,将报文直接路由给目标服务器。在 VS/DR中,调度器根据各个服务器的负载情况,动态地选择一台服务器,不修改也不封装IP报文,而是将数据帧的MAC地址改为选出服务器的MAC地址, 再将修改后的数据帧在与服务器组的局域网上发送。因为数据帧的MAC地址是选出的服务器,所以服务器肯定可以收到这个数据帧,从中可以获得该IP报文。当 服务器发现报文的目标地址VIP是在本地的网络设备上,服务器处理这个报文,然后根据路由表将响应报文直接返回给客户
实验环境:两台虚拟机server1、server2作为realserver(rs).
两台虚拟机server3、server4作为virtualserver(vs).
rhel6.5
iptables, selinux disabled
一.安装lvs
在server2上
# yum install ipvsadm-1.25-10.el6.x86_64.rpm
在server3、server4上,安装并启动httpd,并在html目录下新建内容为本机hostname的index.html文件
LVS有十种调度算法:
下面增加一台新的虚拟服务器实现负载均衡中的DR模式。
在server2 中
#ip addr add 172.25.0.100/24 dev eth0 //给vs添加vip。
#ipvsadm -l // 显示vs列表
#ipvsadm -C // 清空vs列表
#ipvsadm -A -t 172.25.0.100:80 -s rr //制定lvs的vip,并使用轮叫调度算法
#ipvsadm -a -t 172.25.0.100:80 -r 172.25.0.3:80 -g //增加一台新的虚拟服务器
#ipvsadm -a -t 172.25.0.100:80 -r 172.25.0.4:80 -g //增加一台新的虚拟服务器
#/etc/init.d/ipvsadm save //保存lvs设置
#ipvsadm -l //查看当前lvs列表。
根据DR工作原理,在RS(即server3、server4)上要加vip
在web上输入172.25.0.100,不断刷新,页面交替出现server3.example.com和server4.example.com,正是rr算法的体现。
在真机上
#arp -an //查看ip对应的mac地址
由于没有启用no-arp,因此vip对应的mac为rs中任意一个。
实现ARP欺骗:
在两台rs上
#yum install arptables_jf -y
#arptables -A IN -d 172.25.0.100 -j DROP //RS忽略所有针对虚拟ip的arp请求
#arptables -A OUT -s 172.25.0.100 -j manle --mangle-ip-s 172.25.0.3 //改变向外的arp回应,把原先包含vip的arp回应改为包含server3的ip。
#/etc/init.d/arptables_jf save //保存arptables_jf配置
在server2上,
将/usr/share/dos/ldirectord-3.95/ldirectord.cf 拷贝到/etc/ha.d下。
编辑/etc/init.d/ldirectord,改vs与rs相应的ip,注释掉persistent=600(持续时间太长,效果不明显),fallback为127.0.0.1:80 gate表示当rs服务都坏掉后启用调度器的服务。
启用ldirectord服务 。
注:ldirectord:用这个软件可以自动检测后端服务器是否连接。如果网络down掉,直接在ipvsadm表里边把这个后端的权值变为0,代表不用这个后端。如果网络恢复,ipvsadm表中这个后端的权重又变为设置的值,代表可用。
在rs上重启httpd。
将lvs整合到heartbeat中
将server2上的ldirectord.cf文件复制到server1上。并关掉httpd、ldirectord服务,删除vip。
在server1上,编辑/etc/ha.d/haresource,在最后一行添加
server1.example.com IPaddr::172.25.0.100/24/eth0 httpd ldirectord //通过高可用heartbeat调用ldirecord和httpd
然后将该文件复制到server2中。并启动两vs的heartbeat。启动server1的httpd。
在server1上,查看messages日志可以看到lvs已经加载。vip已自动添加。
在真机上,通过arp -an 可以看到vip的mac地址为调度器server1的mac地址。(arp欺骗成功)
将server3和server4的httpd都停掉,web内容为server1.example.com.
keepalived
keepalived是集群管理中保证集群高可用的一个服务软件,其功能类似于heartbeat,用来防止单点故障,实现双机热备。通常说的双机热备是指两台机器都在运行,但并不是两台机器都同时在提供服务。当提供服务的一台出现故障的时候,另外一台会马上自动接管并且提供服务,而且切换的时间非常短。大公司一般用rhcs(Red Hat Cluster Suite),keepalived适用于小型公司。
工作原理
keepalived是以VRRP协议为实现基础的,VRRP全称Virtual Router Redundancy Protocol,即虚拟路由冗余协议。
虚拟路由冗余协议,可以认为是实现路由器高可用的协议,即将N台提供相同功能的路由器组成一个路由器组,这个组里面有一个master和多个backup,master上面有一个对外提供服务的vip(该路由器所在局域网内其他机器的默认路由为该vip),master会发组播,当backup收不到vrrp包时就认为master宕掉了,这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。
keepalived主要有三个模块,分别是core、check和vrrp。core模块为keepalived的核心,负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查,包括常见的各种检查方式。vrrp模块是来实现VRRP协议的。
配置:
停掉调度器heartbeat、ldirectord、删除vip。
在server1上,解压keepalived-1.2.20.tar.gz,yum安装libnl,libnl-devel
#./configure --prefix=/usr/local/keepalived
#make && make install
复制/usrlocalkeepalived文件夹到server2中。
建立链接
ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/ln -s /usr/local/keepalived/etc/keepalived /etc/ln -s /usr/local/keepalived/sbin/keepalived /sbin/ln -s /usr/local/keepalived/bin/genhash /bin/
在server1上,编辑/etc/keepalived/keeplived.conf
global_defs {notification_email { 12345678@qq.com #指定接受报警的邮箱,可以有多个}notification_email_from keepalived@server2.example.com #发送邮件的地址smtp_server 127.0.0.1 #smtp server 地址smtp_connect_timeout 30 #smtp超时时间router_id LVS_DEVEL #load balancer 的标识 ID,用于 email 警报} vrrp_instance VI_1 { state MASTER #设定lvs主备机状态,备机为BACKUP interface eth0 #HA 监测网络接口 virtual_router_id 51 #主备机的id必须相同 priority 100 #设定优先级,数字越高优先级有高,主机优先级要高于备机 advert_int 1 #主备机通信间隔时间 authentication { auth_type PASS #设置验证类型,主要有 PASS 和 AH 两种 auth_pass 1111 #主备机必须一致 }virtual_ipaddress { 172.25.0.100 #设定虚拟ip,可多个} } virtual_server 172.25.0.3 80 { #通过端口定义虚拟服务器,80为apache端口delay_loop 6 #每隔 6 秒查询 realserver 状态lb_algo rr #lvs调度算法为论询lb_kind DR #lvs为直连模式
# persistence_timeout 50 #设定连接保持时间 protocol TCP #指定转发协议
real_server 172.25.0.3 80 { #定义真实服务器 weight 1 #配置权重 TCP_CHECK { #设置真实服务器检查为tcp查询 connect_timeout 3 #设定超时时间 nb_get_retry 3 #重试次数 delay_before_retry 3 #重试间阁 }}real_server 172.25.0.4 80 { #另一台真实服务器用以实习负载均衡 weight 1 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 }}}
并复制该文件到server2(备机)上,并修改state为BACKUP,priority为50.
在server1上,启动keepalived服务,在messages日志上可以看到VRRP是MASTER模式,vip已添加。
停掉server1的keepalived,启动server2的keepalived。在日志可看到vrrp为master模式且添加了vip
以rs的vsftp服务配置keepalive服务。
在两rs上安装启动vsftpd。在/var/ftp/pub下各新建名为server3、server4的文件。
#vim /etc/sysconfig/arptables
添加
[0:0] -A IN -d 172.25.0.101 -j DROP
[0:0] -A OUT -s 172.25.0.101 -j mangle --mangle-ip-s 172.25.0.4(server3为3) //通过文件方式实现arp欺骗
新添加vip172.25.0.101/32并重启arptables_jf服务。
在vs上,修改keepalived.conf文件。将原vip改为172.25.0.101,并取消persistence_timeout 60的注释,将rs的端口改为21端口(vsftp的端口),调度模式为wlc(加权最小连接)。
在server1上,
#/etc/init.d/keepalived reload
#ipvsadm -l
在真机上
#lftp 172.25.0.101
~>ls
显示server4
在server2上,
#lftp 172.25.0.101
~>ls
显示server3(server4已被使用,根据wlc自动切到server3)。
转载于:https://blog.51cto.com/simplelinux/1791200