61.集群介绍 keepalived介绍 keepalived配置高可用

最新推荐文章于 2022-05-26 13:17:28 发布

chym2015

最新推荐文章于 2022-05-26 13:17:28 发布

阅读量106

点赞数

原文链接：https://my.oschina.net/u/3866192/blog/3084724

版权

18.1 集群介绍

18.2 keepalived介绍

18.3/18.4/18.5 用keepalived配置高可用集群

扩展

heartbeat和keepalived比较http://blog.csdn.net/yunhua_lee/article/details/9788433

DRBD工作原理和配置 http://502245466.blog.51cto.com/7559397/1298945

mysql+keepalived http://lizhenliang.blog.51cto.com/7876557/1362313

18.1 集群介绍：

有多台机器组成了一个庞大的一台大机器。那么一台机器完不成的任务，可以多台一起

~1.根据功能划分为两大类：高可用和负载均衡

~2.高可用集群通常为两台服务器，一台工作，另外一台作为冗余，当提供服务的机器宕机，冗余将接替继续提供服务

一台机器提供服务，如果挂了，那么另一台就出来。这样可以最大化的提供系统可用的效率

很多公司把它可用的效率作为他健壮的标准。在业界一些核心的一些角色，做高可用的衡量标准，比如四个九，就是99.99%，也就是说这一年百分之99.99的时间都是在线的，不允许当机，不允许服务不可用。有的是五个九或者是六个九

那怎么才能做到这么高的使用率、可用性。那实际上我们提供一个高可用的集群出来。一台机器当机，那么另一台机器马上接替服务，切换的时间很短，不到一分钟

~3.实现高可用的开源软件有：heartbeat、keepalived

heartbeat有很多bug以及不在更新，我们使用keepalived。keepalived不但可以实现高可用，还能负载均衡，而且配置简单

~4.负载均衡集群，需要有一台服务器作为分发器，它负责把用户的请求分发给后端的服务器处理，在这个集群里，除了分发器外，就是给用户提供服务的服务器了，这些服务器数量至少为2

比如，一开始只有几百人的访问量，随着发展，上升到几万人，一台机器已经满足不了需求，（优化单台机器比如加内存、cpu等，以及到了瓶颈）那就只能加机器

~5.实现负载均衡的开源软件有LVS、keepalived、haproxy、nginx，

商业的有F5、Netscaler，价格昂贵。优势是有很高的并发量，以及很好的稳定性

如果我们用这种开源的软件，他的稳定性就取决于服务器的稳定性

单机结构

我想大家最最最熟悉的就是单机结构，一个系统业务量很小的时候所有的代码都放在一个项目中就好了，然后这个项目部署在一台服务器上就好了。整个项目所有的服务都由这台服务器提供。这就是单机结构。

那么，单机结构有啥缺点呢？我想缺点是显而易见的，单机的处理能力毕竟是有限的，当你的业务增长到一定程度的时候，单机的硬件资源将无法满足你的业务需求。此时便出现了集群模式，往下接着看。

集群结构

集群模式在程序猿界有各种装逼解释，有的让你根本无法理解，其实就是一个很简单的玩意儿，且听我一一道来。

单机处理到达瓶颈的时候，你就把单机复制几份，这样就构成了一个“集群”。集群中每台服务器就叫做这个集群的一个“节点”，所有节点构成了一个集群。每个节点都提供相同的服务，那么这样系统的处理能力就相当于提升了好几倍（有几个节点就相当于提升了这么多倍）。

但问题是用户的请求究竟由哪个节点来处理呢？最好能够让此时此刻负载较小的节点来处理，这样使得每个节点的压力都比较平均。要实现这个功能，就需要在所有节点之前增加一个“调度者”的角色，用户的所有请求都先交给它，然后它根据当前所有节点的负载情况，决定将这个请求交给哪个节点处理。这个“调度者”有个牛逼了名字——负载均衡服务器。

集群结构的好处就是系统扩展非常容易。如果随着你们系统业务的发展，当前的系统又支撑不住了，那么给这个集群再增加节点就行了。但是，当你的业务发展到一定程度的时候，你会发现一个问题——无论怎么增加节点，貌似整个集群性能的提升效果并不明显了。这时候，你就需要使用微服务结构了。

微服务结构

先来对前面的知识点做个总结。

从单机结构到集群结构，你的代码基本无需要作任何修改，你要做的仅仅是多部署几台服务器，每台服务器上运行相同的代码就行了。但是，当你要从集群结构演进到微服务结构的时候，之前的那套代码就需要发生较大的改动了。所以对于新系统我们建议，系统设计之初就采用微服务架构，这样后期运维的成本更低。但如果一套老系统需要升级成微服务结构的话，那就得对代码大动干戈了。所以，对于老系统而言，究竟是继续保持集群模式，还是升级成微服务架构，这需要你们的架构师深思熟虑、权衡投入产出比。

OK，下面开始介绍所谓的微服务。

微服务就是将一个完整的系统，按照业务功能，拆分成一个个独立的子系统，在微服务结构中，每个子系统就被称为“服务”。这些子系统能够独立运行在web容器中，它们之间通过RPC方式通信。

举个例子，假设需要开发一个在线商城。按照微服务的思想，我们需要按照功能模块拆分成多个独立的服务，如：用户服务、产品服务、订单服务、后台管理服务、数据分析服务等等。这一个个服务都是一个个独立的项目，可以独立运行。如果服务之间有依赖关系，那么通过RPC方式调用。

https://mp.weixin.qq.com/s?__biz=MzU3MTI5MjcwMQ==&mid=2247483801&idx=1&sn=822ef1066797c9c977d0f0ddfa

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

18.2 keepalived介绍：

~1.在这里我们使用keepalived来实现高可用集群，因为heartbeat在centos6上有一些问题，影响实验效果

~2.keepalived通过VRRP协议（Virtual Router Redundancy Protocl）来实现高可用。VRRP协议中文叫虚拟路由冗余协议

~3.在这个协议里会将多台功能相同的路由器组成一个小组，这个小组里会有1个master角色和N（N>=1）个backup角色。

实验中是一台机器而不是路由器

通常情况下，我们为了节省资源，让N=1。也就是一主一从就可以实现了

~4.master会通过组播的形式向各个backup发送VRRP协议的数据包，当backup收不到master发来的VRRP数据包时，就会认为master宕机了。此时就需要根据各个backup的优先级来决定谁成为新的mater。

~5.Keepalived要有三个模块，分别是core、check和vrrp。其中core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析，check模块负责健康检查，vrrp模块是来实现VRRP协议的。

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

18.3/18.4/18.5 用keepalived配置高可用集群：

用高可用的软件（keepalived）来实现高可用。并且要有一个服务去实现高可用（在这里是nginx），也就是把nginx实现高可用的对象。因为很多企业把nginx作为负载均衡器。如果nginx挂掉那么后面的web服务器即使正常也不能使用，这个是不能出现单点故障的

~~master上的操作：

~1.

准备两台机器134和135，134作为master，135作为backup

~2.

两台机器都执行yum install -y keepalived

~3.

两台机器都安装nginx，其中134上已经编译安装过nginx，135上需要yum安装nginx: yum install -y nginx

~4.

设定vip为100。生产环境中公网IP就是VIP

要用ip add来查看ens33的IP。用ifconfig是看不到的

~5.

编辑134上keepalived配置文件，/etc/keepalived/keepailved.conf下是有的，但是我们不用他这个自带的。内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_keepalived.conf获取

~6.

134编辑监控脚本，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_check_ng.sh获取

~7.

给脚本755权限

chmod 755 /usr/local/sbin/check_ng.sh

~8.

systemctl start keepalived 134启动服务

~~backup上的操作：

~1.

135上编辑配置文件，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_keepalived.conf获取

~2.

135上编辑监控脚本，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_check_ng.sh获取

~3.

给脚本755权限

~4.

135上也启动服务 systemctl start keepalived

实例：

~~master上的操作：

[root@afeilinux-01 ~]# yum install -y keepalived master上安装keepalived

[root@afeilinux-02 ~]# yum install -y keepalived backup上安装keepalived

[root@afeilinux-01 ~]# ps aux |grep nginx master上检查是否开启nginx（因为之前编译过nginx）

root       1710  0.0  0.2 125108  2112 ?        Ss   10:57   0:00 nginx: master process /usr/sbin/nginx
nginx      1711  0.0  0.3 125496  3144 ?        S    10:57   0:00 nginx: worker process
root       1713  0.0  0.0 112724   992 pts/0    S+   10:57   0:00 grep --color=auto nginx

[root@afeilinux-02 ~]# rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm 阿鑫操作的时候，backup上yum安装不了nginx。后来是缺少nginx的源。执行这一条

[root@afeilinux-02 ~]# echo $?

[root@afeilinux-02 ~]# yum install -y nginx yum安装nginx

[root@afeilinux-01 ~]# vim /etc/keepalived/keepalived.conf #这个就是keepalived的内容

! Configuration File for keepalived

global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
"/etc/keepalived/keepalived.conf" 157L, 3598C

[root@afeilinux-01 ~]# > !$ #直接重定向这个文件，使他为空。因为我们不用这个自带的

> /etc/keepalived/keepalived.conf

[root@afeilinux-01 ~]# !vim

内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_keepalived.conf获取

vim /etc/keepalived/keepalived.conf

global_defs { #全局的定义参数

notification_email { #出现问题是给那个邮箱发邮件

519321158.qq.com

}

notification_email_from root@aminglinux.com #由哪个邮件发出去

smtp_server 127.0.0.1

smtp_connect_timeout 30

router_id LVS_DEVEL

}

vrrp_script chk_nginx { #这个是检测服务是否正常的。就是那个check模块

script "/usr/local/sbin/check_ng.sh" #这个是一个shell脚本，一会会去写。这个脚本的作用就是检查服务是否正常的，如果不正常要把它启动起来

interval 3 #检测的间断是三秒钟

}

vrrp_instance VI_1 { #定义master相关

state MASTER #角色叫master。（从的话就叫backup）！这个要跟从不一样

interface ens33 #通过网卡去发vrrp协议

virtual_router_id 51 #定义路由器的ID是什么！这个ID要保持一致，说明他们是一组

priority 100 #权重（主和从的权重是不一样的）！这个要跟从不一样

advert_int 1

authentication { #认证相关的信息

auth_type PASS #认证的类型是PASS（密码的形式）

auth_pass aminglinux>com #定义密码的字符串

}

virtual_ipaddress { #定义它的vip。生产环境中公网IP就是VIP。因为定义了ens33，用ip add去查看他的IP

两台机器（主和从）正常是主在提供服务。如果主挂了，那么从起来的话肯定要提供服务啊，比如nginx。那么从提供nginx，那么我们去访问nginx的时候，访问哪个IP呢，你把域名解析到哪个IP上去呢？假如解析到主上，主都已经挂了，从起来了，那么从的IP是什么呢。所以，我们要给他定义一个公有的IP。主上用的这个IP，从也要用这个IP。这个共有IP就叫做vip。这个IP是可以随时的下掉去配置的。那这个VIP就可以在这定义

正常的话master上要启动绑定这个IP。如果master当掉，那么从就要起来绑定这个IP。那么我们最终解析域名，解析到这个IP上，不管是主上还是从上都无所谓了

192.168.30.100

}

track_script { #前面定义的脚本，这里要给他定义一个加载。就是chk_nginx

chk_nginx

}

[root@afeilinux-01 ~]# vim /usr/local/sbin/check_ng.sh

#!/bin/bash

#时间变量，用于记录日志

d=`date --date today +%Y%m%d_%H:%M:%S` #这个d表示时间

#计算nginx进程数量

n=`ps -C nginx --no-heading|wc -l`

#如果进程为0，则启动nginx，并且再次检测nginx进程数量，

#如果还为0，说明nginx无法启动，此时需要关闭keepalived

if [ $n -eq "0" ]; then

/etc/init.d/nginx start #跟从的启动方式不一样。因为主是编译的，可以这样启动

n2=`ps -C nginx --no-heading|wc -l`

if [ $n2 -eq "0" ]; then

echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log #如果么有启动起来，错误日志定义到这个里去

systemctl stop keepalived #既然nginx没有启动成功，那么keepalive也没有意义存在

#!/bin/bash
#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#如果进程为0，则启动nginx，并且再次检测nginx进程数量，
#如果还为0，说明nginx无法启动，此时需要关闭keepalived
if [ $n -eq "0" ]; then
        /etc/init.d/nginx start
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi

在高可用集群里有个脑裂的概念。为什么要把主上的keepalived杀掉呢。因为这个时候要启动从了。主一停掉keepalived那从就要自动起来服务。那如果主和从的keepalived都起来，那两者就会争抢资源。比如VIP要争抢，那两个机器都监听了VIP，那域名访问的时候去访问哪个机器呢。那就会出现紊乱。这种情况就叫做脑裂。这是不允许发生的

[root@afeilinux-01 ~]# chmod 755 /usr/local/sbin/check_ng.sh

[root@afeilinux-01 ~]# systemctl start keepalived #开启keepalived

[root@afeilinux-01 ~]# ps aux |grep keepalived #看一下keepalived是否起来

root       1811  0.0  0.1 122984  1416 ?        Ss   13:26   0:00 /usr/sbin/keepalived -D
root       1812  0.0  0.3 133944  3336 ?        S    13:26   0:00 /usr/sbin/keepalived -D
root       1813  0.0  0.2 133884  2896 ?        S    13:26   0:00 /usr/sbin/keepalived -D
root       1879  0.0  0.0 112724   988 pts/0    S+   13:27   0:00 grep --color=auto keepalived

[root@afeilinux-01 ~]# ps aux |grep nginx #看一下nginx是否起来

root       1710  0.0  0.2 125108  2112 ?        Ss   10:57   0:00 nginx: master process /usr/sbin/nginx
nginx      1711  0.0  0.3 125496  3144 ?        S    10:57   0:00 nginx: worker process
root       1959  0.0  0.0 112724   988 pts/0    R+   13:27   0:00 grep --color=auto nginx

[root@afeilinux-01 ~]# /etc/init.d/nginx stop #我们做个试验，把nginx关掉，看他是否自动起来

Stopping nginx (via systemctl): [ 确定 ]

[root@afeilinux-01 ~]# !ps #自动起来。脚本生效

ps aux |grep nginx

root      33394  0.0  0.2 125108  2116 ?        Ss   15:31   0:00 nginx: master process /usr/sbin/nginx
nginx     33395  0.0  0.3 125496  3148 ?        S    15:31   0:00 nginx: worker process
root      33412  0.0  0.0 112724   988 pts/0    R+   15:31   0:00 grep --color=auto nginx

master停止nginx以后，nginx会自动重启

master停止keepalived以后，停止nginx以后，nginx不会重新启动。

从上停止和启动keepalived以后，对从上nginx不受影响。

[root@afeilinux-01 ~]# cat /var/log/messages #这是他的日志

[root@afeilinux-01 ~]# systemctl stop firewalld #主从上都要关闭防火墙和selinux

[root@afeilinux-01 ~]# setenforce 0

~~backup上的操作：

[root@afeilinux-02 ~]# setenforce 0 #主从都要关闭防火墙和selinux

[root@afeilinux-02 ~]# getenforce

Permissive 通过

[root@afeilinux-02 ~]# systemctl stop firewalld

[root@afeilinux-02 ~]#> /etc/keepalived/keepalived.conf 重定向清空

[root@afeilinux-02 ~]# vim /etc/keepalived/keepalived.conf #配置从的配置文件

global_defs {

notification_email {

aming@aminglinux.com

}

notification_email_from root@aminglinux.com

smtp_server 127.0.0.1

smtp_connect_timeout 30

router_id LVS_DEVEL

}

vrrp_script chk_nginx {

script "/usr/local/sbin/check_ng.sh" #监控脚本的路径

interval 3

}

vrrp_instance VI_1 {

state BACKUP

interface ens33 #网卡ens33

virtual_router_id 51

priority 90 #权重90，要和主不一样，比主低

advert_int 1

authentication {

auth_type PASS

auth_pass aminglinux>com

}

virtual_ipaddress {

192.168.30.100 #vip跟主保持一样

}

track_script {

chk_nginx

}

global_defs {
   notification_email {
     aming@aminglinux.com
   }
   notification_email_from root@aminglinux.com
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"
    interval 3
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass aminglinux>com
    }
    virtual_ipaddress {
        192.168.30.100
    }

    track_script {
        chk_nginx
    }

}

[root@afeilinux-02 ~]# vi /usr/local/sbin/check_ng.sh

#时间变量，用于记录日志

d=`date --date today +%Y%m%d_%H:%M:%S`

#计算nginx进程数量

n=`ps -C nginx --no-heading|wc -l`

#如果进程为0，则启动nginx，并且再次检测nginx进程数量，

#如果还为0，说明nginx无法启动，此时需要关闭keepalived

if [ $n -eq "0" ]; then

systemctl start nginx #在这有跟主不太一样。因为主是源码编译的，使用了chkconfig这个工具，可以使用/etc/init.d/nginx start。从是域名安装的要用 systemctl start nginx

n2=`ps -C nginx --no-heading|wc -l`

if [ $n2 -eq "0" ]; then

echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log

systemctl stop keepalived

#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#如果进程为0，则启动nginx，并且再次检测nginx进程数量，
#如果还为0，说明nginx无法启动，此时需要关闭keepalived
if [ $n -eq "0" ]; then
        systemctl start nginx
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi

[root@axinlinux-02 ~]# chmod 755 !$ #注意改权限

chmod 755 /usr/local/sbin/check_ng.sh

[root@afeilinux-02 ~]# systemctl start keepalived

[root@afeilinux-02 ~]# ps aux |grep keepalived

root       1748  0.0  0.1 122984  1420 ?        Ss   15:03   0:00 /usr/sbin/keepalived -D
root       1749  0.0  0.2 127184  2440 ?        S    15:03   0:00 /usr/sbin/keepalived -D
root       1750  0.1  0.2 133884  2892 ?        S    15:03   0:00 /usr/sbin/keepalived -D
root       1785  0.0  0.0 112724   988 pts/0    R+   15:03   0:00 grep --color=auto keepalived

以上master和backup配置完成。

因为master 用yum安装了一遍

我们ip add看一下master的ens 33的IP，用浏览器访问一下

那用IP访问的时候他访问哪里去了呢。就是在nginx的主虚拟主机root的路径：

[root@axinlinux-01 ~]# cat /usr/local/nginx/conf/vhost/aaa.com.conf

server

{

listen 80 default_server;

server_name aaa.com;

index index.html index.htm index.php;

root /data/wwwroot/default; #就是主虚拟主机的root路径下的

server

{

   listen 80 default_server;
   server_name aaa.com;
   index index.html index.htm index.php;
   root /data/wwwroot/default; 
   
   location ~ \.php$

   {

   include fastcgi_params;
   fastcgi_pass unix:/tmp/axin.sock; 
#   fastcgi_pass 127.0.0.1:9000;
   fastcgi_index index.php;
   fastcgi_param SCRIPT_FILENAME /data/wwwroot/default$fastcgi_script_name;
   } 
}

[root@afeilinux-01 ~]# ls /data/wwwroot/default #也就是这个文件

index.html

[root@afeilinux-01 ~]# cat /data/wwwroot/default/index.html

master master. This is default site. #内容和浏览器的是一样的

我们ip add看一下backup的ens 33的IP，用浏览器访问一下

因为从的nginx是yum安装的。他的默认页在：

[root@afeilinux-02 ~]# cat /usr/share/nginx/html/index.html

···

转载于:https://my.oschina.net/u/3866192/blog/3084724

chym2015

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
61.集群介绍 keepalived介绍 keepalived配置高可用

18.1 集群介绍 18.2 keepalived介绍 18.3/18.4/18.5 用keepalived配置高可用集群扩展 heartbeat和keepalived比较http://blog.csdn.net/yunhua_lee/article/details/9788433...
复制链接

扫一扫