Linux集群架构、用keepalived配置高可用集群、LVS NAT模式搭建

最新推荐文章于 2024-07-05 22:16:07 发布

weixin_33796205

最新推荐文章于 2024-07-05 22:16:07 发布

阅读量182

点赞数

文章标签：操作系统开发工具数据库

原文链接：https://my.oschina.net/u/4093217/blog/3057181

版权

2019独角兽企业重金招聘Python工程师标准>>>

18.1 集群介绍
18.2 keepalived介绍
18.3/18.4/18.5 用keepalived配置高可用集群
18.6 负载均衡集群介绍
18.7 LVS介绍
18.8 LVS调度算法
18.9/18.10 LVS NAT模式搭建

VRRP协议 https://blog.csdn.net/u013920085/article/details/21184143

LVS 三种模式图解 http://blog.51cto.com/jiekeyang/1839583

fullnat模式 https://ieevee.com/tech/2015/12/08/fullnat.html

一、集群介绍

根据功能划分为两大类：高可用和负载均衡
 高可用集群通常为两台服务器，一台工作，另外一台作为冗余，当提供服务的机器宕机，冗余将接替继续提供服务
 实现高可用的开源软件有：heartbeat、keepalived
 负载均衡集群，需要有一台服务器作为分发器，它负责把用户的请求分发给后端的服务器处理，在这个集群里，除了分发器外，就是给用户提供服务的服务器了，这些服务器数量至少为2
 实现负载均衡的开源软件有LVS、keepalived、haproxy、nginx，商业的有F5、Netscaler

二、 keepalived介绍

在这里我们使用keepalived来实现高可用集群，因为heartbeat在centos6上有一些问题，影响实验效果
1. keepalived通过VRRP（Virtual Router Redundancy Protocl）来实现高可用。
2.在这个协议里会将多台功能相同的路由器组成一个小组，这个小组里会有1个master角色和N（N>=1）个backup角色。
3.master会通过组播的形式向各个backup发送VRRP协议的数据包，当backup收不到master发来的VRRP数据包时，就会认为master宕机了。此时就需要根4.据各个backup的优先级来决定谁成为新的mater。
4.Keepalived要有三个模块，分别是core、check和vrrp。其中core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析，check模块负责健康检查，vrrp模块是来实现VRRP协议的。

三、用keepalived配置高可用集群

实验准备
    1. 准备两台机器001和002，001作为master，002作为backup
    2. 两台机器都执行安装yum install -y keepalived
    3. 两台机器都安装nginx,nginx作为高可用的对象

编辑001上的keepalived配置文件上配置，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_keepalived.conf获取

原配置文件清空，并写入以下配置

> /etc/keepalived/keepalived.conf 清空

global_defs {
   notification_email {
     foutt7777@163.com        //定义出现问题时接收邮件的邮箱
   }
   notification_email_from            //定义发邮件地址（实际没有）
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"        //此脚本为监控nginx服务是否正常，稍后定义该脚本
    interval 3                    //检测的间隔是3秒
}

vrrp_instance VI_1 {
    state MASTER            //定义角色为master
    interface ens33         //网卡
    virtual_router_id 51    //定义路由器的id为51，主从保持一致
    priority 100            //权重100，此数值要大于backup，决定优先级
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 123456    //定义密码    
    }
    virtual_ipaddress {
        192.168.116.100    //定义VIP，此处为公有的ip，主从都可以访问
    }
    track_script {
        chk_nginx         //加载监控脚本，这里和上面vrrp_script后面的字符串保持一致
    }
}

编辑监控脚本check_ng.sh，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_check_ng.sh获取

vim /usr/local/sbin/check_ng.sh 路径与keepalived.conf配置文件中的相同，写入如下内容

#!/bin/bash
#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#如果进程为0，则启动nginx，并且再次检测nginx进程数量，
#如果还为0，说明nginx无法启动，此时需要关闭keepalived
if [ $n -eq "0" ]; then
        /etc/init.d/nginx start
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi

给该脚本赋予755权限，否则无法被keepalived调用

chmod 755 /usr/local/sbin/check_ng.sh

开启keepalived服务，停止防火墙，关闭SElinux

systemctl start keepalived

ps aux |grep keep

keepalived的日志存放在/var/log/messages文件中

关闭防火墙、SElinux，主从都要关闭

systemctl stop firewalld

getenforce

setenforce 0

Permissive 临时关闭所显示的状态

在002上编辑配置文件，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_keepalived.conf获取

清空原配置文件，并按以下内容写入配置文件中

vim /etc/keepalived/keepalived.conf

global_defs {
   notification_email {
     foutt7777@163.com
   }
   notification_email_from root@aminglinux.com
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"
    interval 3
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51        //id和主一样
    priority 90                //权重90，比主少
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 123456        //密码
    }
    virtual_ipaddress {
        192.168.116.100        //ip和主一样
    }
    track_script {
        chk_nginx
    }
}

002上编辑监控脚本，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_check_ng.sh获取

vim /usr/local/sbin/check_ng.sh

nginx两种启动方式：

systemctl start nginx     yum安装启动方式
/etc/init.d/nginx start   源码包编译安装启动方式

#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#如果进程为0，则启动nginx，并且再次检测nginx进程数量，
#如果还为0，说明nginx无法启动，此时需要关闭keepalived
if [ $n -eq "0" ]; then
        /etc/init.d/nginx start
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi

给该脚本赋予755权限，否则无法被keepalived调用

chmod 755 /usr/local/sbin/check_ng.sh

开启keepalived服务，停止防火墙，关闭SElinux

systemctl start keepalived

关闭防火墙，与主上一样

systemctl stop firewalld
getenforce
setenforce 0

此时使用主的ip直接访问

访问到了该文件

cat /usr/local/nginx/conf/vhost/aaa.com.conf
cat /data/wwwroot/default/index.html

使用从的ip直接访问

虚拟IP 192.168.116.100显示的页面为master的页面

需要使用ip add才可以查看到 192.168.116.100此vip，ifconfig看不到，vip在master上

002没有vip

测试高可用，通常使用两台机器

在master上增加iptabls规则 
 iptables -I OUTPUT -p vrrp -j DROP        把主上的vrr协议，出去的包封掉，不能达到切换资源的目的

所以要想让001上的master宕机；直接关闭keepalived服务

systemctl stop keepalived 关闭keepalived服务，此时主上没有了vip

vip在从上显示

此时访问vip 192.168.116.100，此时VIP完美转移到从的backup上面，不影响用户使用

如果在主上启动systemctl start keepalived.service再去访问vip，会立即回到matser上

四、负载均衡集群介绍

负载均衡软件分类：

主流的负载均衡开源软件：LVS、keepalived、haproxy、nginx等
其中，LVS属于4层（网络OSI7层模型），nginx属于7层，haproxy即可以是4层，也可以是7层。
keepalived的负载均衡功能其实就是lvs
lvs这种4层的负载均衡是可以分发除80外的其他端口通信，比如mysql，而nginx仅仅支持http、https、mail，haproxy也可以支持mysql
4层和7层负载比较：
LVS4层的更稳定，能承受更多的请求
nginx 7层的更加灵活，能实现更多的个性化需要

五、lvs介绍

LVS是由国人章文嵩开发
 流行度不亚于apache的httpd，基于TCP/IP做的路由和转发，稳定性和效率很高
 LVS最新版本基于Linux内核2.6，有好多年不更新了
 LVS有三种常见的模式：NAT、DR、IP Tunnel
 LVS架构中有一个核心角色叫做分发器（Load balance），它用来分发用户的请求，还有诸多处理用户请求的服务器（Real Server，简称rs）

LVS NAT模式

这种模式借助iptables的nat表来实现
 用户的请求到分发器后，通过预设的iptables规则，把请求的数据包转发到后端的rs上去
 rs需要设定网关为分发器的内网ip
 用户请求的数据包和返回给用户的数据包全部经过分发器，所以分发器成为瓶颈
 在nat模式中，只需要分发器有公网ip即可，所以比较节省公网ip资源

LVS IP Tunnel模式

这种模式，需要有一个公共的IP配置在分发器和所有rs上，我们把它叫做vip
客户端请求的目标IP为vip，分发器接收到请求数据包后，会对数据包做一个加工，会把目标IP改为rs的IP，这样数据包就到了rs上
rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己

LVS DR模式

这种模式，也需要有一个公共的IP配置在分发器和所有rs上，也就是vip
和IP Tunnel不同的是，它会把数据包的MAC地址修改为rs的MAC地址
rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己

六、LVS调度算法

前四种是最常用的

轮询 Round-Robin  rr
 加权轮询 Weight Round-Robin wrr
 最小连接 Least-Connection lc
 加权最小连接 Weight Least-Connection wlc
 基于局部性的最小连接 Locality-Based Least Connections lblc
 带复制的基于局部性最小连接 Locality-Based Least Connections with Replication  lblcr
 目标地址散列调度 Destination Hashing dh
 源地址散列调度 Source Hashing  sh

七、LVS NAT模式搭建

试验原理：

LVS NAT模式借助iptables的nat表来实现：

用户的请求到分发器后，通过预设的iptables规则，把请求的数据包转发到后端的rs上去.
rs需要设定网关为分发器的内网ip.
用户请求的数据包和返回给用户的数据包全部经过分发器，所以分发器成为瓶颈.
在nat模式中，只需要分发器有公网ip即可，所以比较节省公网ip资源.

试验准备：

三台机器：

分发器，也叫调度器（简写为dir） 内网：192.168.116.3，外网：192.168.253.0（vmware仅主机模式）

rs1 内网：192.168.116.33，设置网关为192.168.116.3

rs2 内网：192.168.116.133，设置网关为192.168.116.3，克隆一台003机器,ip改为192.168.116.133

分发器需要两个网卡，也就是001机器上需要两个网卡,vmware上配置第二个网卡为仅主机模式

此时查看ens37网卡的IP为192.168.253.128

在三台机器上查看iptables规则，并执行以下操作

iptables -nvL
systemctl stop firewalld            关闭firewalld 
systemctl disable firewalld        禁止开机启动
systemctl enable iptables            开启iptables服务
systemctl start iptables    
iptables -F
service iptables save   保存规则，调用空规则

如果没有iptables服务，需要安装iptables-services服务： yum install -y iptables-services

关闭三台机器的SElinux

setenforce 0

为了保险起见，修改配置文件

vim /etc/selinux/config
    SELINUX=disabled

把rs1（002），rs2（003）的网关设置为分发器的内网ip，也就是001的内网ip：192.168.116.3，否则无法进行通信

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改完成重启网卡

/etc/init.d/network restart

查看其网关： route -n

NAT模式搭建

只需要在分发器dir上安装ipvsadm，即只需要在001安装

yum install -y ipvsadm

在dir上创建并编写lvs_nat.sh脚本，vim /usr/local/sbin/lvs_nat.sh //内容如下

#! /bin/bash
# director 服务器上开启路由转发功能
echo 1 > /proc/sys/net/ipv4/ip_forward        #给此文件重定向了一个新的数字1到文件中，为内核参数，对内核做调整，实现路由转发
# 关闭icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
# 注意区分网卡名字，001机器上的两个网卡分别为ens33和ens37
echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects
# director 设置nat防火墙
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.116.0/24  -j MASQUERADE
#director设置ipvsadm规则，-C清空规则，-A增加规则，-t跟分发器ip，wlc为算法，-p指定超时时间，单位秒，-r指定real_server是谁，-m为NAT的模式，-w是权重
IPVSADM='/usr/sbin/ipvsadm'
$IPVSADM -C
$IPVSADM -A -t 192.168.253.128:80 -s wlc -p 3            
$IPVSADM -a -t 192.168.253.128:80 -r 192.168.116.33:80 -m -w 1
$IPVSADM -a -t 192.168.253.128:80 -r 192.168.116.133:80 -m -w 1

配置完成，执行一下看是否有报错

sh /usr/local/sbin/lvs_nat.sh

NAT模式效果测试

两台rs上都安装nginx
设置两台rs的主页，做一个区分，也就是说直接curl两台rs的ip时，得到不同的结果

开启002和003的nginx并设置两台机器的主页，做区分

curl localhost

vim /usr/local/nginx/html/index.html

进行测试：

直接访问公网ip，页面测试容易有缓存，可以按照下面使用curl测试

为了试验效果进入脚本，把延迟时间去掉

vim /usr/local/sbin/lvs_nat.sh
sh /usr/local/sbin/lvs_nat.sh  执行脚本

ipvsadm -ln 查看其规则，小写（L）n，并把wlc规则改为rr，使其显示的更加均衡

curl 192.168.253.128 访问公网ip进行测试，此时说明试验成功

转载于:https://my.oschina.net/u/4093217/blog/3057181

weixin_33796205

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Linux集群架构、用keepalived配置高可用集群、LVS NAT模式搭建

2019独角兽企业重金招聘Python工程师标准>>> ...
复制链接

扫一扫