18.1 集群介绍
18.2 keepalived介绍
18.3/18.4/18.5 用keepalived配置高可用集群
18.6 负载均衡集群介绍
18.7 LVS介绍
18.8 LVS调度算法
18.9/18.10 LVS NAT模式搭建
VRRP协议 https://blog.csdn.net/u013920085/article/details/21184143
LVS 三种模式图解 http://blog.51cto.com/jiekeyang/1839583
fullnat模式 https://ieevee.com/tech/2015/12/08/fullnat.html
一、集群介绍
根据功能划分为两大类:高可用和负载均衡 高可用集群通常为两台服务器,一台工作,另外一台作为冗余,当提供服务的机器宕机,冗余将接替继续提供服务 实现高可用的开源软件有:heartbeat、keepalived 负载均衡集群,需要有一台服务器作为分发器,它负责把用户的请求分发给后端的服务器处理,在这个集群里,除了分发器外,就是给用户提供服务的服务器了,这些服务器数量至少为2 实现负载均衡的开源软件有LVS、keepalived、haproxy、nginx,商业的有F5、Netscaler
二、 keepalived介绍
在这里我们使用keepalived来实现高可用集群,因为heartbeat在centos6上有一些问题,影响实验效果 1. keepalived通过VRRP(Virtual Router Redundancy Protocl)来实现高可用。 2.在这个协议里会将多台功能相同的路由器组成一个小组,这个小组里会有1个master角色和N(N>=1)个backup角色。 3.master会通过组播的形式向各个backup发送VRRP协议的数据包,当backup收不到master发来的VRRP数据包时,就会认为master宕机了。此时就需要根4.据各个backup的优先级来决定谁成为新的mater。 4.Keepalived要有三个模块,分别是core、check和vrrp。其中core模块为keepalived的核心,负责主进程的启动、维护以及全局配置文件的加载和解析,check模块负责健康检查,vrrp模块是来实现VRRP协议的。
三、用keepalived配置高可用集群
实验准备 1. 准备两台机器001和002,001作为master,002作为backup 2. 两台机器都执行安装yum install -y keepalived 3. 两台机器都安装nginx,nginx作为高可用的对象
编辑001上的keepalived配置文件上配置,内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_keepalived.conf获取
原配置文件清空,并写入以下配置
> /etc/keepalived/keepalived.conf 清空
global_defs { notification_email { foutt7777@163.com //定义出现问题时接收邮件的邮箱 } notification_email_from //定义发邮件地址(实际没有) smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id LVS_DEVEL } vrrp_script chk_nginx { script "/usr/local/sbin/check_ng.sh" //此脚本为监控nginx服务是否正常,稍后定义该脚本 interval 3 //检测的间隔是3秒 } vrrp_instance VI_1 { state MASTER //定义角色为master interface ens33 //网卡 virtual_router_id 51 //定义路由器的id为51,主从保持一致 priority 100 //权重100,此数值要大于backup,决定优先级 advert_int 1 authentication { auth_type PASS auth_pass 123456 //定义密码 } virtual_ipaddress { 192.168.116.100 //定义VIP,此处为公有的ip,主从都可以访问 } track_script { chk_nginx //加载监控脚本,这里和上面vrrp_script后面的字符串保持一致 } }
编辑监控脚本check_ng.sh,内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_check_ng.sh获取
vim /usr/local/sbin/check_ng.sh 路径与keepalived.conf配置文件中的相同,写入如下内容
#!/bin/bash #时间变量,用于记录日志 d=`date --date today +%Y%m%d_%H:%M:%S` #计算nginx进程数量 n=`ps -C nginx --no-heading|wc -l` #如果进程为0,则启动nginx,并且再次检测nginx进程数量, #如果还为0,说明nginx无法启动,此时需要关闭keepalived if [ $n -eq "0" ]; then /etc/init.d/nginx start n2=`ps -C nginx --no-heading|wc -l` if [ $n2 -eq "0" ]; then echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log systemctl stop keepalived fi fi
给该脚本赋予755权限,否则无法被keepalived调用
chmod 755 /usr/local/sbin/check_ng.sh
开启keepalived服务,停止防火墙,关闭SElinux
systemctl start keepalived
ps aux |grep keep
keepalived的日志存放在/var/log/messages文件中
关闭防火墙、SElinux,主从都要关闭
systemctl stop firewalld
getenforce
setenforce 0
Permissive 临时关闭所显示的状态
在002上编辑配置文件,内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_keepalived.conf获取
清空原配置文件,并按以下内容写入配置文件中
vim /etc/keepalived/keepalived.conf
global_defs { notification_email { foutt7777@163.com } notification_email_from root@aminglinux.com smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id LVS_DEVEL } vrrp_script chk_nginx { script "/usr/local/sbin/check_ng.sh" interval 3 } vrrp_instance VI_1 { state BACKUP interface ens33 virtual_router_id 51 //id和主一样 priority 90 //权重90,比主少 advert_int 1 authentication { auth_type PASS auth_pass 123456 //密码 } virtual_ipaddress { 192.168.116.100 //ip和主一样 } track_script { chk_nginx } }
002上编辑监控脚本,内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_check_ng.sh获取
vim /usr/local/sbin/check_ng.sh
nginx两种启动方式:
systemctl start nginx yum安装启动方式 /etc/init.d/nginx start 源码包编译安装启动方式
#时间变量,用于记录日志 d=`date --date today +%Y%m%d_%H:%M:%S` #计算nginx进程数量 n=`ps -C nginx --no-heading|wc -l` #如果进程为0,则启动nginx,并且再次检测nginx进程数量, #如果还为0,说明nginx无法启动,此时需要关闭keepalived if [ $n -eq "0" ]; then /etc/init.d/nginx start n2=`ps -C nginx --no-heading|wc -l` if [ $n2 -eq "0" ]; then echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log systemctl stop keepalived fi fi
给该脚本赋予755权限,否则无法被keepalived调用
chmod 755 /usr/local/sbin/check_ng.sh
开启keepalived服务,停止防火墙,关闭SElinux
systemctl start keepalived
关闭防火墙,与主上一样
systemctl stop firewalld getenforce setenforce 0
此时使用主的ip直接访问
访问到了该文件
cat /usr/local/nginx/conf/vhost/aaa.com.conf cat /data/wwwroot/default/index.html
使用从的ip直接访问
虚拟IP 192.168.116.100显示的页面为master的页面
需要使用ip add才可以查看到 192.168.116.100此vip,ifconfig看不到 ,vip在master上
002没有vip
测试高可用,通常使用两台机器
在master上增加iptabls规则 iptables -I OUTPUT -p vrrp -j DROP 把主上的vrr协议,出去的包封掉,不能达到切换资源的目的
所以要想让001上的master宕机;直接关闭keepalived服务
systemctl stop keepalived 关闭keepalived服务,此时主上没有了vip
vip在从上显示
此时访问vip 192.168.116.100,此时VIP完美转移到从的backup上面,不影响用户使用
如果在主上启动systemctl start keepalived.service再去访问vip,会立即回到matser上
四、负载均衡集群介绍
负载均衡软件分类: 主流的负载均衡开源软件:LVS、keepalived、haproxy、nginx等 其中,LVS属于4层(网络OSI7层模型),nginx属于7层,haproxy即可以是4层,也可以是7层。 keepalived的负载均衡功能其实就是lvs lvs这种4层的负载均衡是可以分发除80外的其他端口通信,比如mysql,而nginx仅仅支持http、https、mail,haproxy也可以支持mysql 4层和7层负载比较: LVS4层的更稳定,能承受更多的请求 nginx 7层的更加灵活,能实现更多的个性化需要
五、lvs介绍
LVS是由国人章文嵩开发 流行度不亚于apache的httpd,基于TCP/IP做的路由和转发,稳定性和效率很高 LVS最新版本基于Linux内核2.6,有好多年不更新了 LVS有三种常见的模式:NAT、DR、IP Tunnel LVS架构中有一个核心角色叫做分发器(Load balance),它用来分发用户的请求,还有诸多处理用户请求的服务器(Real Server,简称rs)
LVS NAT模式
这种模式借助iptables的nat表来实现 用户的请求到分发器后,通过预设的iptables规则,把请求的数据包转发到后端的rs上去 rs需要设定网关为分发器的内网ip 用户请求的数据包和返回给用户的数据包全部经过分发器,所以分发器成为瓶颈 在nat模式中,只需要分发器有公网ip即可,所以比较节省公网ip资源
LVS IP Tunnel模式
这种模式,需要有一个公共的IP配置在分发器和所有rs上,我们把它叫做vip 客户端请求的目标IP为vip,分发器接收到请求数据包后,会对数据包做一个加工,会把目标IP改为rs的IP,这样数据包就到了rs上 rs接收数据包后,会还原原始数据包,这样目标IP为vip,因为所有rs上配置了这个vip,所以它会认为是它自己
LVS DR模式
这种模式,也需要有一个公共的IP配置在分发器和所有rs上,也就是vip 和IP Tunnel不同的是,它会把数据包的MAC地址修改为rs的MAC地址 rs接收数据包后,会还原原始数据包,这样目标IP为vip,因为所有rs上配置了这个vip,所以它会认为是它自己
六、LVS调度算法
前四种是最常用的
轮询 Round-Robin rr 加权轮询 Weight Round-Robin wrr 最小连接 Least-Connection lc 加权最小连接 Weight Least-Connection wlc 基于局部性的最小连接 Locality-Based Least Connections lblc 带复制的基于局部性最小连接 Locality-Based Least Connections with Replication lblcr 目标地址散列调度 Destination Hashing dh 源地址散列调度 Source Hashing sh
七、LVS NAT模式搭建
试验原理:
LVS NAT模式借助iptables的nat表来实现:
用户的请求到分发器后,通过预设的iptables规则,把请求的数据包转发到后端的rs上去. rs需要设定网关为分发器的内网ip. 用户请求的数据包和返回给用户的数据包全部经过分发器,所以分发器成为瓶颈. 在nat模式中,只需要分发器有公网ip即可,所以比较节省公网ip资源.
试验准备:
三台机器: 分发器,也叫调度器(简写为dir) 内网:192.168.116.3,外网:192.168.253.0(vmware仅主机模式) rs1 内网:192.168.116.33,设置网关为192.168.116.3 rs2 内网:192.168.116.133,设置网关为192.168.116.3,克隆一台003机器,ip改为192.168.116.133
分发器需要两个网卡,也就是001机器上需要两个网卡,vmware上配置第二个网卡为仅主机模式
此时查看ens37网卡的IP为192.168.253.128
在三台机器上查看iptables规则,并执行以下操作
iptables -nvL systemctl stop firewalld 关闭firewalld systemctl disable firewalld 禁止开机启动 systemctl enable iptables 开启iptables服务 systemctl start iptables iptables -F service iptables save 保存规则,调用空规则
如果没有iptables服务,需要安装iptables-services服务 : yum install -y iptables-services
关闭三台机器的SElinux
setenforce 0
为了保险起见,修改配置文件
vim /etc/selinux/config SELINUX=disabled
把rs1(002),rs2(003)的网关设置为分发器的内网ip,也就是001的内网ip:192.168.116.3,否则无法进行通信
vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改完成重启网卡
/etc/init.d/network restart
查看其网关 : route -n
NAT模式搭建
只需要在分发器dir上安装ipvsadm,即只需要在001安装
yum install -y ipvsadm
在dir上创建并编写lvs_nat.sh脚本,vim /usr/local/sbin/lvs_nat.sh //内容如下
#! /bin/bash # director 服务器上开启路由转发功能 echo 1 > /proc/sys/net/ipv4/ip_forward #给此文件重定向了一个新的数字1到文件中,为内核参数,对内核做调整,实现路由转发 # 关闭icmp的重定向 echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects # 注意区分网卡名字,001机器上的两个网卡分别为ens33和ens37 echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects # director 设置nat防火墙 iptables -t nat -F iptables -t nat -X iptables -t nat -A POSTROUTING -s 192.168.116.0/24 -j MASQUERADE #director设置ipvsadm规则,-C清空规则,-A增加规则,-t跟分发器ip,wlc为算法,-p指定超时时间,单位秒,-r指定real_server是谁,-m为NAT的模式,-w是权重 IPVSADM='/usr/sbin/ipvsadm' $IPVSADM -C $IPVSADM -A -t 192.168.253.128:80 -s wlc -p 3 $IPVSADM -a -t 192.168.253.128:80 -r 192.168.116.33:80 -m -w 1 $IPVSADM -a -t 192.168.253.128:80 -r 192.168.116.133:80 -m -w 1
配置完成,执行一下看是否有报错
sh /usr/local/sbin/lvs_nat.sh
NAT模式效果测试
两台rs上都安装nginx 设置两台rs的主页,做一个区分,也就是说直接curl两台rs的ip时,得到不同的结果
开启002和003的nginx并设置两台机器的主页,做区分
curl localhost
vim /usr/local/nginx/html/index.html
进行测试:
直接访问公网ip,页面测试容易有缓存,可以按照下面使用curl测试
为了试验效果进入脚本,把延迟时间去掉
vim /usr/local/sbin/lvs_nat.sh sh /usr/local/sbin/lvs_nat.sh 执行脚本
ipvsadm -ln 查看其规则,小写(L)n,并把wlc规则改为rr,使其显示的更加均衡
curl 192.168.253.128 访问公网ip进行测试,此时说明试验成功