高性能Nginx服务器（6）----lvs+Keepalived+Nginx双机主从热备

最新推荐文章于 2023-10-11 20:43:59 发布

红烧咸鱼丶

最新推荐文章于 2023-10-11 20:43:59 发布

阅读量497

点赞数

分类专栏：蚂蚁课堂的视频笔记

本文链接：https://blog.csdn.net/u014437791/article/details/102411003

版权

蚂蚁课堂的视频笔记专栏收录该内容

49 篇文章 6 订阅

订阅专栏

加上LVS的负载均衡的简介

（1）客户端的域名会解析成IP地址到LVS中
（2）LVS是做四层（基于TCP层的负载均衡器），由LVS转发到Nginx中
（3）其中Nginx可以是一主一备，一主多从，多主多从等，起到了集群的作用。Nginx集群肯定是有主从关系的，不可能只有主没有从，因为需要在主nginx不能用的情况下，做故障转移
（4）这里我们配置一主一备，通常情况下，备机是不会被访问的，只有在主机不能使用的时候，备机才会启用
（5）LVS是一个软负载均衡，他会组成一个虚拟的VIP，就是虚拟一个IP地址出来，让Nginx和LVS组合在一起，通过该IP可以访问到和LVS组合在一起的Nginx
（6）正常情况下虚拟出来的IP只会走到主的Nginx上，要想走到备机，必须主的Nginx不能使用。
（7）连接的Nginx就会走到Web服务器集群。Tomcat服务器集群也是分为主从的。（一般也是只能访问主的Tomcat，备机的Tomcat在主不能用的时候才能访问）
这样就可以实现7*24小时的主从热备。

简单的图示：（后面会详细的介绍）

LVS与Keepalived

LVS：LVS是一个四层负载均衡器（基于TCP），是一个软负载均衡器。可以完成所有的负载均衡的业务需求。有虚拟化技术，可以虚拟化一个IP地址。LVS默认在Linux的2.4内核之后都是安装好的。所以我们无需安装，直接配置使用就行。
Nginx与LVS的区别：
（1）Nginx是一个七层负载均衡（基于HTTP的），主要针对于应用层的负载均衡，在1.9之后，Nginx支持4层负载均衡
（2）LVS是一个四层负载均衡（基于TCP的）。针对于传输层负载均衡。LVS的应用场景比Nginx的应用场景更加广泛，LVS支持所有的负载均衡的业务需求。LVS应用场景：数据库负载均衡
（3）LVS还支持虚拟化，可以虚拟化一个虚拟IP地址出来。
Keepalived：是基于LVS基础上的，实现心跳检测，监控服务器，实现故障转移，如果服务器发生down机，可以尝试自动重试脚本。如果多次重试还是失败，会自动发送邮件给运维人员。主要用于高可用，心跳检测，故障转移
一般要使用高可用是用LVS+Keepaliced的。

LVS+Keepalived+Nginx流程图

在这里插入图片描述
（1）客户端发送请求，会先进行DNS解析，先判断浏览器是否有域名缓存，没有就判断本地hosts文件，再没有就去DNS解析域名
（2）经过LVS四层负载均衡，先到LVS是因为其抗负载能力强于Nginx，而且LVS可以虚拟IP可以管理Nginx的集群关系，如果Nginx做集群，有多个Nginx，我们通过LVS的虚拟IP可以访问到某一个主Nginx（如果是多主多备，可以轮训主服务器的nginx，一主一备只会访问主的Nginx）。注意：其实这里是用LVS+Keepalived一起实现的，Keepalived的作用是心跳检测，故障转移，如果主没有挂的情况下，一直访问主服务器，主服务器一挂，就会切换到备机上。
（3）从LVS到指定的Nginx中，主和备Nginx有着自己独立的Web服务器集群，即主有主的Web服务器集群。（主和备都是单独的Web服务器集群）。当主成功重新拉起的时候，我们会重新使用主服务器，不会再使用备机。

搭建环境

Nginx主服务器：192.168.159.129
Nginx备服务器：192.168.159.130
LVS虚拟VIP：192.168.159.110

注意虚拟VIP的前面三个一定要和Nginx主和备的一致，Nginx主和备的前面三个也要一致

克隆一台服务器出来，注意克隆完成后要修改其mac地址（无需配置，直接重新生成就好），克隆后该虚拟机的IP是192.168.159.129（作为主nginx服务器）
（1）在/usr/local目录下安装nginx（省略这个安装，之前讲了太多了）
（2）安装keepalived（还是在/usr/local目录下）

下载keepalived
wget http://www.keepalived.org/software/keepalived-1.2.18.tar.gz
解压安装
tar -zxvf keepalived-1.2.18.tar.gz -C /usr/local/
下载插件openssl
yum install -y openssl openssl-devel（需要安装一个软件包）
开始编译keepalived
cd keepalived-1.2.18/ && ./configure --prefix=/usr/local/keepalived
安装
make && make install

提示：此时可能会报错
报错: eepalived执行./configure --prefix=/usr/local/keepalived时报错：configure: error: Popt libraries is required
出现此错误的原因：
未安装popt的开发包
解决方法：
yum install popt-devel
安装好popt的开发包。重新./configure 即可。

该界面表示已经安装成功（./configure成功）

（3）将keepalived安装成Linux服务

将keepalived安装成Linux系统服务，因为没有使用keepalived的默认安装路径（默认的安装路径是/usr/local），安装完成之后，需要做一些修改工作

创建文件夹，将keepalived配置文件进行复制：
mkdir /etc/keepalived
cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
复制leepalived的脚本文件
cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
ln -s /usr/local/sbin/keepalived /usr/sbin/
ln -s /usr/local/keepalived/sbin/keepalived /sbin/
（这一步可能会报错，先不管，后面如果启动报错，会有步骤解决）
可以将其设置为开机启动：
chkconfig keepalived on

Keepalived的常用命令：
（1）service keepalived start
（2）service keepalived stop
注意：

启动报错：Starting keepalived (via systemctl): Job for keepalived.service failed. See ‘systemctl status keepalived.service’ and ‘journalctl -xn’ for details.
解决方法：
[root@edu-proxy-01 sbin]# cd /usr/sbin/
[root@edu-proxy-01 sbin]# rm -f keepalived
[root@edu-proxy-01 sbin]# cp /usr/local/keepalived/sbin/keepalived /usr/sbin/

（4）使用keepalived虚拟VIP

编辑配置文件

vi /etc/keepalived/keepalived.conf
直接删除原来的conf配置文件，新建一个一模一样的，将里面内容改成下面的

vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_check.sh" #运行脚本，脚本内容下面有，就是起到一个nginx宕机以后，自动开启服务
    interval 2 #检测时间间隔
    weight -20 #如果条件成立的话，则权重 -20
}
# 定义虚拟路由，VI_1 为虚拟路由的标示符，自己定义名称
vrrp_instance VI_1 {
    state MASTER #来决定主从 BACKUP表示从
    interface ens33 # 绑定虚拟 IP 的网络接口，根据自己的机器填写
    virtual_router_id 121# 虚拟路由的 ID 号， 两个节点设置必须一样 将keepalived.conf文件中的virtual_router_id参数设置成其它即可，如：79、89、101。只要取值范围在取值0-255就行。
    mcast_src_ip 192.168.159.129 #填写本机ip
    priority 100 # 节点优先级,主要比从节点优先级高
    nopreempt # 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题
    advert_int 1 # 组播信息发送间隔，两个节点设置必须一样，默认 1s
    # 生产的时候会使用，账号密码
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    # 将 track_script 块加入 instance 配置块
    track_script {
        chk_nginx #执行 Nginx 监控的服务
    }
   # 虚拟的ip地址，前三个必须和当前服务器的前三个一致，要在同一个网段中
    virtual_ipaddress {
        192.168.159.110 # 虚拟ip,也就是解决写死程序的ip怎么能切换的ip,也可扩展，用途广泛。可配置多个。我们访问该ip会跳转到真实的Nginx中去
    }
}

（5）启动nginx主服务器
（6）启动Keeplived
（7）浏览器访问Keepalived借由LVS虚拟的VIP，这里是192.168.159.110
在这里插入图片描述
此时ip a可以发现在原有的IP上多出了一个110的ip

此时就已经完成了主机上的搭建（192.168.159.129）

（8）Nginx搭建一主一备

当我们主机挂了的时候，我们就会访问备机（192.168.159.130）
这里我们偷懒下，直接克隆搭建好的主机，然后修改其mac地址，以及配置的地址等

修改克隆的mac地址（无需改配置，重新生成下就行）
修改keepalived的配置文件，因为我们如果要做一主一备，不可能配置的keepalived全都是主机（main），一个虚拟VIP只能在一台服务器上存放；但是我们要实现多主多备的时候，就可以配置成多个master
主和备的虚拟IP（虚拟出的VIP）是一致的，因为我们要通过同一个ip去访问，做到主从热备
修改master为backup，并且修改本机ip为192.168.159.130
vi /etc/keepalived/keepalived.conf

vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_check.sh" #运行脚本，脚本内容下面有，就是起到一个nginx宕机以后，自动开启服务
    interval 2 #检测时间间隔
    weight -20 #如果条件成立的话，则权重 -20
}
# 定义虚拟路由，VI_1 为虚拟路由的标示符，自己定义名称
vrrp_instance VI_1 {
    state BACKUP#来决定主从 BACKUP表示从
    interface ens33 # 绑定虚拟 IP 的网络接口，根据自己的机器填写
    virtual_router_id 121# 虚拟路由的 ID 号， 两个节点设置必须一样 将keepalived.conf文件中的virtual_router_id参数设置成其它即可，如：79、89、101。只要取值范围在取值0-255就行。
    mcast_src_ip 192.168.159.130 #填写本机ip
    priority 100 # 节点优先级,主要比从节点优先级高
    nopreempt # 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题
    advert_int 1 # 组播信息发送间隔，两个节点设置必须一样，默认 1s
    # 生产的时候会使用，账号密码
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    # 将 track_script 块加入 instance 配置块
    track_script {
        chk_nginx #执行 Nginx 监控的服务
    }
   # 虚拟的ip地址，前三个必须和当前服务器的前三个一致，要在同一个网段中
    virtual_ipaddress {
        192.168.159.110 # 虚拟ip,也就是解决写死程序的ip怎么能切换的ip,也可扩展，用途广泛。可配置多个。我们访问该ip会跳转到真实的Nginx中去
    }
}

（9）启动129和130的nginx和keepalived，发现我们只有129（主）的机子上会有110的ip，而130（从）的机子上没有
在这里插入图片描述

只有这样子我们就能实现一主一备用，110的ip在哪个机子上，哪个机子就是主
我们访问110的ip只会跳转到主的nginx上（主的环境一切正常，无论访问多少次都是主的地址），如图：
我们这时候假设主服务器down机，其他什么都不变，再次访问110的ip（虚拟VIP）

我们会发现其自动切到备Nginx上，此时110的虚拟ip就在130上，而不是129上
此时如果主（129）服务器恢复正常，就又会回到主服务器，访问主的Nginx

（9）Keepalived实现心跳检测实现自动重启（高可用）
如果项目在生产环境中发生down机，应该怎么处理？

（1）故障转移
（2）自动心跳检测
（3）既然有故障转移，那么就要做负载均衡
（4）心跳检测，ping主服务器发现其不通，就自动重启

keepalived的心跳检测：就是发送一个包，ping服务器，如果不通（表示没有启动）就会进行自动重启，自动执行重启脚本

我们在keepalived中配置了心跳检测脚本的位置以及间隔

vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_check.sh" #运行脚本，脚本内容下面有，就是起到一个nginx宕机以后，自动开启服务
    interval 2 #检测时间间隔
    weight -20 #如果条件成立的话，则权重 -20
}

写入脚本：vim /etc/keepalived/nginx_check.sh（129和130都写上也行）

#!/bin/bash
A=`ps -C nginx –no-header |wc -l`
if [ $A -eq 0 ];then
   ## 启动nginx
    /usr/local/nginx/sbin/nginx
    ## 每隔2ms进行心跳检测
    sleep 2
    if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
        killall keepalived
    fi
fi

注意该脚本一定要授权chmod 777 nginx_check.sh。

这时候测试的时候，最好把备机停掉，否则有影响，有时候跳到备机上了，这时候测试只在主服务测试（129）备机直接停掉，实现主服务Nginx停掉之后，能快速心跳检测，并自动将Nginx拉起（都是指的主服务器的，129）
这里的心跳检测，自动重新拉起nginx，是keepalived帮我们实现的，因为心跳检测的脚本是keepalived配置的
如果重启多次还是失败，我们就会发送邮件给运维管理员（这个也可以在keepalived中进行配置）

（10）Tomcat实现一主一备

如果tomcat主没有down机，只会走主的Tomcat，主的挂了才会走备机Tomcat，跟Nginx一致。
我们的tomcat的一主一备是由Nginx中配置实现的

upstream testproxy {
      server 127.0.0.1:8080;
      server 127.0.0.1:8081 backup;
  }

    server {
        listen       80;
        server_name  localhost;

    

        location / {
            proxy_pass   http://testproxy;
            index  index.html index.htm;
        }
	     ###nginx与上游服务器(真实访问的服务器)超时时间 后端服务器连接的超时时间_发起握手等候响应超时时间
	      proxy_connect_timeout 1s;
		 ###nginx发送给上游服务器(真实访问的服务器)超时时间
         proxy_send_timeout 1s;
	      ### nginx接受上游服务器(真实访问的服务器)超时时间
         proxy_read_timeout 1s;

    }

只要在希望成为后备的服务器 ip 后面多添加一个 backup 参数，这台服务器就会成为备份服务器。
在平时不使用，nginx 不会给它转发任何请求。只有当其他节点全部无法连接的时候，nginx 才会启用这个节点。
一旦有可用的节点恢复服务，备Tomcat则不再使用，又进入后备状态，主的Tomcat重新成为主，正常使用

红烧咸鱼丶

关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
高性能Nginx服务器（6）----lvs+Keepalived+Nginx双机主从热备

加上LVS的负载均衡的简介（1）客户端的域名会解析成IP地址到LVS中（2）LVS是做四层（基于TCP层的负载均衡器），由LVS转发到Nginx中（3）其中Nginx可以是一主一备，一主多从，多主多从等，起到了集群的作用。Nginx集群肯定是有主从关系的，不可能只有主没有从，因为需要在主nginx不能用的情况下，做故障转移（4）这里我们配置一主一备，通常情况下，备机是不会被访问的，只有在主...
复制链接

扫一扫