①企业 keepalived 高可用项目实战

最新推荐文章于 2024-04-12 09:49:37 发布

一个运维小青年

最新推荐文章于 2024-04-12 09:49:37 发布

阅读量168

点赞数

分类专栏：高可用技术专栏文章标签： lvs

本文链接：https://blog.csdn.net/tianmingqing0806/article/details/120978474

版权

高可用技术专栏专栏收录该内容

5 篇文章 0 订阅

订阅专栏

文章目录

vim upstream.conf

企业 keepalived 高可用项目实战

Keepalived VRRP 介绍：

keepalived是什么
    keepalived是集群管理中保证集群高可用的一个服务软件，用来防止单节点故障。

keepalived工作原理
    keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。

    虚拟路由冗余协议，可以认为是实现高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，当backup收不到vrrp包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。

keepalived主要有三个模块，分别是core、check和vrrp。core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查，包括常见的各种检查方式。vrrp模块是来实现VRRP协议的。

会出现的报错

脑裂(裂脑)：
Keepalived的BACKUP主机在收到不MASTER主机报文后就会切换成为master，如果是它们之间的通信线路出现问题，无法接收到彼此的组播通知，但是两个节点实际都处于正常工作状态，这时两个节点均为master强行绑定虚拟IP，导致不可预料的后果，这就是脑裂。
解决方式:
1、添加更多的检测手段，比如冗余的心跳线（两块网卡做健康监测），ping对方等等。尽量减少"裂脑"发生机会。(治标不治本，只是提高了检测到的概率)；
2、做好对裂脑的监控报警（如邮件及手机短信等或值班）.在问题发生时人为第一时间介入仲裁，降低损失。例如，百度的监控报警短倍就有上行和下行的区别。报警消息发送到管理员手机上，管理员可以通过手机回复对应数字或简单的字符串操作返回给服务器.让服务器根据指令自动处理相应故障，这样解决故障的时间更短；
3、爆头，将master停掉。然后检查机器之间的防火墙。网络之间的通信;

Nginx+keepalived实现七层的负载均衡(同类服务)

Nginx通过Upstream模块实现负载均衡
准备四台机器
nginx-master 主节点
nginx-backup 高可用的
nginx-server1 真实服务器1
nginx-server2 真实服务器2

upstream 支持的负载均衡算法

轮询（默认）:可以通过weight指定轮询的权重，权重越大，被调度的次数越多
ip_hash：可以实现会话保持，将同一客户的IP调度到同一样后端服务器，可以解决session的问题，不能使用weight
fair：可以根据请求页面的大小和加载时间长短进行调度，使用第三方的upstream_fair模块
url_hash：按请求的url的hash进行调度，从而使每个url定向到同一服务器，使用第三方的url_hash模块

配置安装nginx 所有的机器，关闭防火墙和selinux
可以通过epel-release 扩展源，然后下载nginx，四台机器全部都下载
nginx-master 主节点
nginx-backup 高可用的

cd /etc/yum.repos.d/
# vim nginx.repo
[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=0
enabled=1

yum install yum-utils -y
yum install nginx -y

调度到不同组后端服务器
网站分区进行调度

拓扑结构

							[vip: 20.20.20.20]

						[LB1 Nginx]		[LB2 Nginx]
					    192.168.1.2		192.168.1.3

		[index]		[milis]		 [videos]	   [images]  	  [news]
		 1.11		 1.21		   1.31			  1.41		   1.51
		 1.12		 1.22		   1.32			  1.42		   1.52
		 1.13		 1.23		   1.33			  1.43		   1.53
		 ...		 ...		    ...			  ...		    ...
		 /web     /web/milis    /web/videos     /web/images   /web/news
	  index.html  index.html     index.html      index.html   index.html

一、实施过程
1、选择两台nginx服务器作为代理服务器。
2、给两台代理服务器安装keepalived制作高可用集群，生成VIP
3、配置nginx的负载均衡
以上两台nginx服务器配置文件一致
根据站点分区进行调度
所有机器关闭防火墙selinux

systemctl stop firewalld && setenforce 0

配置upstream文件

进入nginx-master 主机

 cd /etc/nginx/conf.d/
# mv default.conf default.conf.bak   先备份原来的

vim upstream.conf

nginx-master 主节点
nginx-backup 高可用的

upstream index {
        server 192.168.246.162:80 weight=1 max_fails=2 fail_timeout=2;
        server 192.168.246.163:80 weight=2 max_fails=2 fail_timeout=2;
}   
    server {
        listen 80;
        server_name     localhost;
        access_log  /var/log/nginx/host.access.log  main;
        
        location / {
         proxy_pass http://index;
         proxy_redirect default;
         proxy_set_header Host $http_host;
         proxy_set_header X-Real-IP $remote_addr;
         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        }
}

将nginx的配置文件拷贝到另一台代理服务器中:

scp upstream.conf 192.168.246.161:/etc/nginx/conf.d/

二、Keepalived实现调度器HA注：

主/备调度器均能够实现正常调度

主/备调度器安装软件

 yum install -y keepalived
 yum install -y keepalived

备份文件先

mv /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak

编写配置文件 vim /etc/keepalived/keepalived.conf

nginx-master 主节点

! Configuration File for keepalived

global_defs {
   router_id directory1   #辅助改为directory2
}

vrrp_script check_nginx{
   script "/etc/keepalived/check_nginx_status.sh"
   interval 5
}

vrrp_instance VI_1 {
    state MASTER        #定义主还是备
    interface ens33     #VIP绑定接口
    virtual_router_id 80  #整个集群的调度器一致
    priority 100         #优先级，backup改为50
    advert_int 1                 #心跳检测的时间间隔1s
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        196.196.196.45/24    #虚拟公网ip
    }
    track_script {
        check_nginx    #这是检测脚本
    }

}

nginx-backup 高可用的

备份文件先

mv /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak

配置主配置文件vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   router_id directory2
}
vrrp_script check_nginx {
   script "/etc/keepalived/check_nginx_status.sh"
   interval 5
}

vrrp_instance VI_1 {
    state BACKUP    #设置为backup
    interface ens33
    nopreempt        #设置到back上面，不抢占资源(VIP)
    virtual_router_id 80
    priority 50   #辅助改为50
    advert_int 1        #检测间隔1s
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        196.196.196.45/24    #公网ip
    }
track_script {
        check_nginx       #检测脚本
    }

}

测试：
浏览器访问：http://196.196.196.45
如能正常访问，将keepalived主节点关机，测试vip是否漂移

在这里插入图片描述
systemctl stop keepalived 停止

查看 nginx-backup

到此：
可以解决心跳故障keepalived
不能解决Nginx服务故障，也就是心跳检测，确认的是keepalived主节点是否存活，而不是nginx服务是否正常运行
4. 扩展对调度器Nginx健康检查（可选）两台都设置
思路：
让Keepalived以一定时间间隔执行一个外部脚本，脚本的功能是当Nginx失败，则关闭本机的Keepalived

配置脚本

nginx-master 主节点
nginx-backup 高可用的俩个都配置

vim /etc/keepalived/check_nginx_status.sh
#!/bin/bash					        
/usr/bin/curl -I http://localhost &>/dev/null
if [ $? -ne 0 ];then						    
#	/etc/init.d/keepalived stop
	systemctl stop keepalived
fi

给他执行权限

chmod +x /etc/keepalived/check_nginx_status.sh

关闭nginx长连接 vim /etc/nginx/nginx.conf
在这里插入图片描述
注：必须先启动Nginx，再启动keepalived

测试访问：
将keepalived集群的主节点的Nginx服务关闭，查看vip是否漂移，如果漂移，即成功

LVS_Director + KeepAlived

在这里插入图片描述
LVS_Director + KeepAlived

KeepAlived在该项目中的功能：
1. 管理IPVS的路由表（包括对RealServer做健康检查）
2. 实现调度器的HA(高可用)
http://www.keepalived.org

Keepalived所执行的外部脚本命令建议使用绝对路径

准备四台机器
lvs-master 主节点
lvs-backup 高可用的
lvs-server1 真实服务器1
lvs-server2 真实服务器2

实施步骤：

主/备调度器安装软件
lvs-master 主节点
lvs-backup 高可用的

yum -y install ipvsadm keepalived

备份文件先

mv /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak

编写配置文件 vim /etc/keepalived/keepalived.conf

lvs-master 主节点

! Configuration File for keepalived

global_defs {
   router_id lvs-keepalived-master    #辅助改为lvs-backup
}
vrrp_instance VI_1 {
    state MASTER
    interface ens33                #VIP绑定接口
    virtual_router_id 80         #VRID 同一组集群，主备一致          
    priority 100            #本节点优先级，辅助改为50
    advert_int 1            #检查间隔，默认为1s
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.246.110/24        #公网ip
    }
}
virtual_server 192.168.246.110 80 {    #LVS配置 #公网ip
	delay_loop 3  #启动3个进程
	lb_algo rr     #LVS调度算法
	lb_kind DR     #LVS集群模式（路由模式）
	nat_mask 255.255.255.0
	protocol TCP      #健康检查使用的协议
	   #下面是后面真实服务器ip
	real_server 192.168.246.162 80 {
		weight 1
		inhibit_on_failure   #当该节点失败时，把权重设置为0，而不是从IPVS中删除
		TCP_CHECK {          #健康检查
			connect_port 80   #检查的端口
			connect_timeout 3  #连接超时的时间
			}
		}
	real_server 192.168.246.163 80 {
		weight 1
		inhibit_on_failure
		TCP_CHECK {
			connect_timeout 3
			connect_port 80
			}
		}
}

lvs-backup 高可用的

vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   router_id lvs-backup
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    nopreempt                    #不抢占资源
    virtual_router_id 80
    priority 50
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        196.196.196.45/24
    }
}
virtual_server 196.196.196.45 80 {
	delay_loop 3
	lb_algo rr
	lb_kind DR
	nat_mask 255.255.255.0
	protocol TCP
	real_server 196.196.196.55 80 {
		weight 1
		inhibit_on_failure
		TCP_CHECK {
			connect_port 80
			connect_timeout 3
			}
		}
	real_server 196.196.196.66 80 {
		weight 1
		inhibit_on_failure
		TCP_CHECK {
			connect_timeout 3
			connect_port 80
			}
		}
}

启动KeepAlived（主备均启动）

systemctl start keepalived
systemctl enable keepalived

查看一下 ipvsadm -Ln

[root@lvs-master keepalived]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  196.196.196.45:80 rr
  -> 196.196.196.55:80            Route   0      0          0
  -> 196.196.196.66:80            Route   0      0          0
[root@lvs-master keepalived]#

所有RS配置(nginx1,nginx2)

配置好网站服务器，测试所有RS
lvs-server1 真实服务器1
lvs-server2 真实服务器2

yum install -y nginx

俩个真实服务器都配置

[root@ ~]# ip addr add dev lo 192.168.246.110/32
[root@ ~]# ip addr add dev lo 192.168.246.110/32

俩个真实服务器都添加

ip addr add dev lo 196.196.196.45/32

echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore #忽略arp广播
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce #匹配精确ip地址回包

往nginx默认发布目录输入内容，增加测试的方法

[root@test-nginx1 ~]# echo "web1..." >> /usr/share/nginx/html/index.html
[root@test-nginx2 ~]# echo "web2..." >> /usr/share/nginx/html/index.html

关闭nginx长连接 vim /etc/nginx/nginx.conf
在这里插入图片描述

启动

systemctl start nginx

LB集群测试
所有分发器和Real Server都正常

主分发器故障及恢复

一个运维小青年

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录