Linux集群架构

最新推荐文章于 2022-10-18 19:16:23 发布
最新推荐文章于 2022-10-18 19:16:23 发布
阅读量282 收藏
点赞数
分类专栏： 笔记 高可用负载均衡 文章标签： lvs 负载均衡 linux运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CN_SHzhaoyujie/article/details/83068590
版权

扩展内容

  • 集群介绍
  • keepalived介绍
  • 用keepalived配置高可用集群
  • 负载均衡集群介绍
  • LVS介绍
  • LVS调度算法
  • LVS NAT模式搭建

一、Linux集群概述

  • 根据功能划分为两大类：高可用和负载均衡
  •  高可用集群通常为两台服务器，一台工作，另外一台作为冗余，当提供服务的机器宕机，冗余将接替继续提供服务
  •  实现高可用的开源软件有：heartbeat、keepalived
  •  负载均衡集群，需要有一台服务器作为分发器，它负责把用户的请求分发给后端的服务器处理，在这个集群里，除了分发器外，就是给用户提供服务的服务器了，这些服务器数量至少为2
  •  实现负载均衡的开源软件有LVS、keepalived、haproxy、nginx，商业的有F5、Netscaler

二、keepalived介绍

  • 在这里我们使用keepalived来实现高可用集群，因为heartbeat在centos6上有一些问题，影响实验效果
  • keepalived通过VRRP（Virtual Router Redundancy Protocl）来实现高可用。
  • 在这个协议里会将多台功能相同的路由器组成一个小组，这个小组里会有1个master角色和N（N>=1）个backup角色。
  • master会通过组播的形式向各个backup发送VRRP协议的数据包，当backup收不到master发来的VRRP数据包时，就会认为master宕机了。此时就需要根据各个backup的优先级来决定谁成为新的master。
  • Keepalived要有三个模块，分别是core、check和vrrp。其中core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析，check模块负责健康检查，vrrp模块是来实现VRRP协议的。

三、用keepalived配置高可用集群

  • 准备两台机器，分别作为master和backup
  • 在两台机器上都安装keepalived：yum install -y keepalived
  • 使用Nginx测试高可用集群（在实际工作者nginx常作为负载均衡器，它是不允许出现单点错误），在两台机器上都安装nginx。
  • 修改master主机上的keepalived配置文件：vim /etc/keepalived/keepalived.conf    
  1. 写入一下内容覆盖原配置，参考：https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_keepalived.conf

global_defs {

   notification_email {

#告警邮箱

     aming@aminglinux.com                    

   }

   notification_email_from root@aminglinux.com

   smtp_server 127.0.0.1

   smtp_connect_timeout 30

   router_id LVS_DEVEL

}

vrrp_script chk_nginx {

   #检查服务的检测脚本

 script "/usr/local/sbin/check_ng.sh"         

    interval 3

}

vrrp_instance VI_1 {

    #担任的角色

state MASTER                           

    interface ens33

    virtual_router_id 51

      #权重

    priority 100                               

    advert_int 1

    authentication {

         #认证形式：密码形式

        auth_type PASS

                #定义密码  

        auth_pass aminglinux>com       

    }

    virtual_ipaddress {

        #虚拟ip

        192.168.157.100                              

    }

    track_script {

        chk_nginx

    }

}

  • 在master主机上编辑监控nginx脚本，并写入一下内容：vim /usr/local/sbin/check_ng.sh        
  1. 参考网址：https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_check_ng.sh

#!/bin/bash

#时间变量，用于记录日志

d=`date --date today +%Y%m%d_%H:%M:%S`

#计算nginx进程数量

n=`ps -C nginx --no-heading|wc -l`

#如果进程为0，则启动nginx，并且再次检测nginx进程数量，

#如果还为0，说明nginx无法启动，此时需要关闭keepalived

if [ $n -eq "0" ]; then

        /etc/init.d/nginx start

        n2=`ps -C nginx --no-heading|wc -l`

        if [ $n2 -eq "0"  ]; then

                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log

                systemctl stop keepalived

        fi

fi

  • 修改脚本权限：chmod 755 /usr/local/sbin/check_ng.sh
  • 启动keepalived服务：systemctl start keepalived
  • 此时关闭master上的nginx服务，系统会再次启动nginx服务
  • keepalived的相关日志：/var/log/messges
  • 使用命令ip add 可以查看keepalived中配置的虚拟ip：

  • 在配置backup前，关闭两台机器上的防火墙和SElinux
  • 修改backup主机上的keepalived配置文件：vim /etc/keepalived/keepalived.conf
  1. 写入一下内容覆盖原配置，参考：https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_keepalived.conf

global_defs {

   notification_email {

     aming@aminglinux.com

   }

   notification_email_from root@aminglinux.com

   smtp_server 127.0.0.1

   smtp_connect_timeout 30

   router_id LVS_DEVEL

}

vrrp_script chk_nginx {

    script "/usr/local/sbin/check_ng.sh"

    interval 3

}

vrrp_instance VI_1 {

    state BACKUP

    interface ens33

    virtual_router_id 51                  需要与master一直

    priority 90                                 比master权重低

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass aminglinux>com

    }

    virtual_ipaddress {

        192.168.157.100                   需要与master一直

    }

    track_script {

        chk_nginx

    }

}

  • 在backup主机上编辑监控nginx脚本，并写入一下内容：vim /usr/local/sbin/check_ng.sh        
  1. 参考网址：https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_check_ng.sh

#!/bin/bash

#时间变量，用于记录日志

d=`date --date today +%Y%m%d_%H:%M:%S`

#计算nginx进程数量

n=`ps -C nginx --no-heading|wc -l`

#如果进程为0，则启动nginx，并且再次检测nginx进程数量，

#如果还为0，说明nginx无法启动，此时需要关闭keepalived

if [ $n -eq "0" ]; then

#yum安装使用systemctl，编译安装使用/etc/init.d/nginx

        /etc/init.d/nginx start

        n2=`ps -C nginx --no-heading|wc -l`

        if [ $n2 -eq "0"  ]; then

                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log

                systemctl stop keepalived

        fi

fi

  • backup上修改脚本权限：chmod 755 /usr/local/sbin/check_ng.sh
  • backup上启动服务： systemctl start keepalived
  • 测试keepalived服务
  • 在游览器远程访问：192.168.157.100   显示在master主机上

  • 模拟宕机，关闭master主机上的keepalived服务：systemctl stop keepalived
  • 在游览器远程访问:192.168.15100   显示已经切换到backup上

  • 再次启动master主机上的keepalived服务，游览器访问192.16157.100，再次回到master主机上。（因为master设置的权重比backup高）

四、负载均衡集群介绍

  • 主流开源软件LVS、keepalived、haproxy、nginx等
  •  其中LVS属于4层（网络OSI 7层模型），nginx属于7层，haproxy既可以认为是4层，也可以当做7层使用
  •  keepalived的负载均衡功能其实就是lvs
  •  lvs这种4层的负载均衡是可以分发除80外的其他端口通信的，比如MySQL的，而nginx仅仅支持http，https，mail，haproxy也支持MySQL这种
  •  相比较来说，LVS这种4层的更稳定，能承受更多的请求，而nginx这种7层的更加灵活，能实现更多的个性化需求

五、LVS介绍

  •  LVS是由国人章文嵩开发
  •  流行度不亚于apache的httpd，基于TCP/IP做的路由和转发，稳定性和效率很高
  •  LVS最新版本基于Linux内核2.6，有好多年不更新了
  •  LVS有三种常见的模式：NAT、DR、IP Tunnel
  •  LVS架构中有一个核心角色叫做分发器（Load balance），它用来分发用户的请求，还有诸多处理用户请求的服务器（Real Server，简称rs）
  • LVS NAT模式
  1. 这种模式借助iptables的nat表来实现，
  2. 用户的请求到分发器后，通过预设的iptables规则，把请求的数据包转发到后端的rs上去，
  3. rs需要设定网关为分发器的内网ip。
  4. 用户请求的数据包和返回给用户的数据包全部经过分发器，所以分发器成为瓶颈，在nat模式中，只需要分发器有公网ip即可，所以比较节省公网ip资源

  • LVS IP Tunnel模式
  1. 这种模式，需要有一个公共的IP配置在分发器和所有rs上，我们把它叫做vip
  2. 客户端请求的目标IP为vip，分发器接收到请求数据包后，会对数据包做一个加工，会把目标IP改为rs的IP，这样数据包就到了rs上
  3. rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己

  • LVS DR模式
  1. 这种模式，也需要有一个公共的IP配置在分发器和所有rs上，也就是vip
  2. 和IP Tunnel不同的是，它会把数据包的MAC地址修改为rs的MAC地址
  3. rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己

六、 LVS调度算法

  • 轮询 Round-Robin  rr ：调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载。     
  •  加权轮询 Weight Round-Robin wrr ：调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
  •  最小连接 Least-Connection lc：调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。
  •  加权最小连接 Weight Least-Connection wlc ：在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
  •  基于局部性的最小链接 Locality-Based Least Connections lblc ："基于局部性的最少链接" 调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器 是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务 器，将请求发送到该服务器。
  •  带复制的基于局部性最小链接 Locality-Based Least Connections with Replication  lblcr ："带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个 目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务 器组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按"最小连接"原则从这个集群中选出一 台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的 程度。
  •  目标地址散列调度 Destination Hashing dh ："目标地址散列"调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
  •  源地址散列调度 Source Hashing  sh ："源地址散列"调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

七、LVS NAT模式搭建

  • 实验环境,设置三台虚拟机
  1. 分发器，也叫调度器（简写为dir）内网：192.168.157.128（仅主机），外网：192.168.88.88
  2. lvs-rs1  内网：192.168.157.130（仅主机），设置网关（分发器的内网IP）：192.168.157.128
  3. lvs-rs2  内网：192.168.157.129（仅主机），设置网关（分发器的内网IP）：192.168.157.128
  • 分别关闭三台主机上的firewalld和selinux，并开启iptables
  1. 关闭firewalld：systemctl stop firewalld
  2. 禁止开启启动firewalld：systemctl disable firewalld
  3. 开启iptables：systemctl start  iptables
  4. 开机启动iptables：systemctl enable iptables
  5. 清空iptables规则：iptables -F
  6. 保存iptables规则：service iptables save
  7. 关闭selinux：setenforce 0
  • 在分发器dir上安装ipvsdam：yum install -y ipvsadm
  • 在分发器dir上编写脚本，vim /usr/local/sbin/lvs_nat.sh 内容如下

#! /bin/bash

# director 服务器上开启路由转发功能

echo 1 > /proc/sys/net/ipv4/ip_forward

# 关闭icmp的重定向

echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects

# 注意区分网卡名字，阿铭的两个网卡分别为ens33和ens37

echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects

# director 设置nat防火墙

iptables -t nat -F

iptables -t nat -X

iptables -t nat -A POSTROUTING -s 192.168.157.0/24  -j MASQUERADE

# director设置ipvsadm

IPVSADM='/usr/sbin/ipvsadm'

$IPVSADM -C

#选项-s选择算法，选项-p持续分发时间参数不能为0

$IPVSADM -A -t 192.168.88.88:80 -s rr -p 3

#选项-m模式nat，选项-w权重

$IPVSADM -a -t 192.168.88.88:80 -r 192.168.157.130:80 -m -w 1

$IPVSADM -a -t 192.168.88.88:80 -r 192.168.157.129:80 -m -w 1

  • 修改脚本权限：chmod 755 /usr/local/sbin/lvs_nat.sh
  • 启动ipvsadm脚本：sh /usr/local/sbin/lvs_nat.sh
  • 查看ipvsadm当前策略：ipvsadm -l

  • 测试（算法为rr，轮询模式）：结果依次访问两个sr服务器

  • 测试（算法为wrr，加权轮询 ）：结果访问两次sr1（权重设置为2）后访问一次sr2（权重设置为1）

CN_SHzhaoyujie
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
nginx自动化安装脚本
YQ1013的博客
05-15 733
#在线自动安装nginx脚本 by silly at 20190504 #!/bin/bash . /etc/init.d/functions #nginx用户信息 nginxUser=nginx nginxVersion=1.15.12 #软件下载目录 dirSoft=/usr/local/src #安装目录 dirInstall=/application #安装环境 yum install g...
Nginx学习笔记3 Shell脚本检测Nginx服务状态_ps -c nginx --no-header wc -l(2)
最新发布
2401_84265674的博客
04-17 890
不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！最重要的一点是，这段脚本不仅可以用来监控Nginx，其他服务也是可以的，模式是一样的，大家可以自行试试。还有一个知识点，killall keepalived 这个是以服务名称杀死进程，日常中也用的挺多的。这里涉及ps 的用法，我们一般用ps查看相关进程，一般都是用。再次判断，如果启动失败，关掉keepalived，进入从节点。如果值为0，即代表服务未启动。
nginx+keepalived高可用配置文档
韩小菜的博客
04-12 397
系统环境 两台Nginx： CentOS6.5 x86_64 两台tomcat： CentOS6.5 x86_64 拓扑图 机器IP 安装软件 角色 虚拟ip 描述 192.168.1.132 Nginx、keepalived Nginx主机 192.168.1.135
Nginx+keepalived
My Inspiration World _" Franz °
08-03 1617
【Nginx+Keepalived】 【keepalived系统】             keepalived用简单明了一句话来说就是：             在一台工作的Nginx崩溃的情况下，系统能够检测到，并自动将请求切换到另外一台备份的Nginx服务器上             keepalived有两个服务端即：Master 和 BACKUP （主和备）
【Linux】linux下wc -l 命令
Moonlight的博客
10-18 1万+
wc（Word Count） 命令作用：统计指定文件中的字节数、字数、行数，并将统计结果显示输出。 参数及定义：-c,--bytes：统计字节数 -m,--chars：统计字符数，可以与 -c 参数一起使用 -w,--words：统计字数，一个字被定义为空白、跳格或换行字符分隔的字符串 -l,--lines：统计行数 -L,--max-line-length：统计最长行的长度 -help 　 显示帮助信息 -version 显示版本信息
linux的集群架构
weixin_40876986的博客
06-06 420
一、集群介绍 集群，简单地说是指一组（若干个）相互独立的计算机，利用高速通信网络组成一个较大的计算机服务系统，每个集群节点（即集群中的每台计算机）都是运行各自服务的独立服务器。 集群的特点：高性能（Performance）、价格有效（Cost-effectiveness)、可伸缩性（Scalability)、高可用性（Availability）、透明性（Traansparency）、可管理性（...
尚观linux集群架构师课程
09-14
尚观Linux集群架构师课程深度解析 尚观科技推出的Linux集群架构师课程，是一门集技术深度与实战经验于一体的高端IT培训课程。该课程聚焦于Linux集群架构的精深研究，旨在培养具备全面技能和实战经验的Linux集群架构...
Linux系统配置及运维项目化教程课件—Linux集群架构.pdf
06-24
Linux系统配置及运维项目化教程课件—Linux集群架构.pdfLinux系统配置及运维项目化教程课件—Linux集群架构.pdfLinux系统配置及运维项目化教程课件—Linux集群架构.pdfLinux系统配置及运维项目化教程课件—Linux集群...
基于Linux集群架构的MPI点对点通信研究.pdf
09-06
基于Linux集群架构的MPI点对点通信研究.pdf
高性能的linux集群
08-01
高性能的linux集群，通俗易懂的讲解集群，并实践集群，简单易懂
ps -C nginx --no-header |wc -l
weixin_30753873的博客
10-27 1710
[root@ok ok]# ps --help|grep C -A all processes -C by command name -V,V show version L list format codes f ASCII art forest -w,w wide output n numeric WCH...
linux wc -l命令,Linux wc sort和uniq的用法
weixin_36473464的博客
04-29 547
Sort进行排序，而且可以依据不同的数据形态来排序[root@www ~]# sort [-fbMnrtuk] [file or stdin]选项与参数：-f:忽略大小写的差异，例如A与a视为编码相同-b:忽略最前面的空格符部分-M：以月份的名字来排序，例如JAN,DEC等等的排序方法-n:使用[纯数字]进行排序，(默认是以文字形态来排序的)-r:反向排序-u：就是uniq，相同的数据中，仅出现一...
CentOS 7.6安装配置Keepalived详解（三）：高可用Nginx双主模型
weixin_34384557的博客
03-23 615
1、演示环境：外网IP内网IP操作系统主机名部署服务服务器角色192.168.1.145172.16.0.10CentOS 7.6node1keepalived、nginx负载均衡调度器192.168.1.146172.16.0.11CentOS 7.6node2keepalived、nginx负载均衡调度器无172.16.0.20CentOS 7.6web1ht...
nginx和keepalived实现nginx高可用
热门推荐
u012453843的专栏
04-09 1万+
首先介绍一下Keepalived，它是一个高性能的服务器高可用或热备解决方案，Keepalived主要来防止服务器单点故障的发生问题，可以通过其与Nginx的配合实现web服务端的高可用。         Keepalived以VRRP协议为实现基础，用VRRP协议来实现高可用性（HA）.VRRP (Virtual Router Redundancy Protocol)协议是用于实现路由器冗余的
linux命令(linux之ls -l|grep "^-"|wc -l命令)
dllbl的专栏
04-28 6727
查看某文件夹下文件的个数 ls -l |grep "^-"|wc -l或find ./company -type f | wc -l 查看某文件夹下文件的个数，包括子文件夹里的。 ls -lR|grep "^-"|wc -l 查看某文件夹下文件夹的个数，包括子文件夹里的。 ls -lR|grep "^d"|wc -l 说明：ls -l
nextcloud——搭建私有云盘
CN_SHzhaoyujie的博客
06-10 6813
文章目录部署lnmp 部署lnmp 最新版nextcloud需要php7.2以上的版本，所以以下是基于Centos6使用yum快速安装PHP7.2的方法，MySQL和Nginx不做演示 安装yum扩展源 yum install -y epel-release 安装Remi源（包含最新的PHP和mysql） yum install http://rpms.remirepo.net/ente...
Linux高级存储管理与集群架构详解
本文《Linux存储管理与集群》由Kevinzou撰写，探讨了Linux系统中高级数据存储的各个方面，包括存储模式、卷管理、存储网络技术以及设备管理。首先，第1章深入解析了Linux的存储模式，如块级存储、文件级存储和网络...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值