Keepalived基础

最新推荐文章于 2024-08-13 22:38:17 发布
最新推荐文章于 2024-08-13 22:38:17 发布
阅读量623 收藏 1
点赞数
分类专栏： Linux 基础服务 文章标签： 运维 centos 负载均衡
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41968982/article/details/124948898
版权

一、keepalived的组成

keepalived就是vrrp协议在Linux主机上，以守护进程方式运行的实现，其能够根据配置文件，自动生成IPVS规则，并且还可以对各RS做健康状态检测

  • 核心组件
  vrrp stack：vrrp协议实现的核心
  ipvs wrapper：为集群中的节点生成ipvs规则
  checkers：为ipvs集群内的各主机做健康状态检测
  • 控制组件：实现keepalived配置文件的分析、加载
  • IO复用器
  • 内存管理组件：管理高可用时的内存空间占用

二、安装

1. 安装前配置环境

  • 同步个节点时间
  • 配置iptables及selinux
  • 各节点之间可通过主机名ping通（非必须）
  • 确保各节点用于服务的网卡支持多播通信

2. 安装

从CentOS 6.4之后，keepalived就被收录进base仓库中，可直接使用yum安装
yum install -y keepalived

三、相关文件

  • 主配置文件：/etc/keepalived/keepalived.conf
  • /usr/bin/genhash
  • 核心程序：/usr/sbin/keepalived
  • Unit file：/usr/lib/systemd/system/keepalived.service

四、指令意义

其配置文件为/etc/keepalived/keepalived.conf，主要分为三个配置段：全局配置段（GLOBAL CONFIGURATION）、VRRPD CONFIGURATION、LVS CONFIGURATION。

1. 全局配置段

global_defs {

    notification_email：指明出错时给谁发邮件
    
	notification_email_from：指明发送邮件时的发件人
	
	smtp_server：指明从那个邮件服务器发出
	
	smtp_connect_timeout：连接邮件服务器的超时时长
	
	router_id：当前物理设备的唯一标示
	
	trank_interface：定义跟踪的网卡，用{}配置段定义，里面写网卡名；
	nopreempt：定义为非抢占模式
	
	preempt_delay  N ：抢占模式下，节点出发新选举操作的延时时长。
	vrrp_mcast_group4：vrrp协议发送心跳的组播网段
	
	vrrp_skip_check_adv_addr
	vrrp_strict
	vrrp_garp_interval
	vrrp_gna_interval
}

2. vrrp配置段

vrrp_instance NAME { ：给出实例名称，要唯一

	state MASTER|BUCKUP：自己的初始状态，只有两个master和backup
	
	interface eth0：要把虚拟地址配置在哪个网卡上
	
	virtual_router_id 51：虚拟路由的标识符，0-255
	
	priority 100：定义优先级，0-255
	
	advert_int 1：心跳信息发送的频率，单位为秒钟
	
	authentication {  PASS为简单密码认证，可使用openssl rand -hex 4生成随机子串
	    auth_type PASS
	    auth_pass 1111
	}
	virtual_ipaddress {
	    标准格式：<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE>
	    简单示例：192.168.2.100/24 brd 192.168.2.0 dev ens32
    }

3. lvs配置段

virtual_server <IP> <PORT> {

    delay_loop #：健康状态检测多少次判定为失败

    lb_algo rr|wrr|lc|wlc|lblc|sh|dh：调度方法

    lb_kind NAT|DR|TUN：调度类型

    persistence_timeout # ：持久链接时长

    ha_suspend：如果没有定义VIP的话，那么健康状态检测也停止

    virtualhost <string>：定义虚拟主机

    sorry_server <IPADDR> <PORT>：定义sorry server

    real_server <IPADDR> <PORT>  {   定义real server

        weight：权重

        HTTP_GET | TCP_CHECK {  定义使用http协议做健康状态检测
            url {
                path <string>：指明路径

                digest <string>：通过校验码验证
            
                status_code <int>：通过状态结果获取
             }   
            
            nb_get_retry <int>：如果链接超时重试几次

            deleay_before_retry <int>
        
            connect_ip：指明需要检查的IP地址
        
            connect_port：指明需要链接的端口
        
            bindto <IP>：指明通过本机的哪个接口发出检测
       
            connect_timeout：超时时间
         }
    }
}

4. vrrp_script配置段

示例1：监控服务是否正常运行

vrrp_script NAME {  ：为脚本起一个名字
    
    script "killall -0 nginx"  ：killall -0不会真正的杀死进程，如果返回成功则表示这个进程正常运行中
    
    interval 2     ：每隔2秒检测1次
    
    weight -4      ：如果脚本检查失败了，其权重减4
    
    fall 2         ：需要检查2次才判定为失败
    
    rise 2         ：检测2次成功才判定为成功
    
    user USER      ：使用哪个用户运行这个脚本
}

示例2：手动调度主节点

vrrp_script chk_down {
    script "/bin/bash -c '[[ -e /etc/keepalived/down ]]' && exit 1 || exit 0"
    interval 2
    weight -30
    fall 2
    rise 2
    user root
}

五、配置示例

1. 高可用LVS

实验环境：两台RS作为后端的web，两台服务器作为调度器，并在调度器中启用keepalived实现高可用，关于IPVS的相关内容可以点击这里

RIP1：192.168.60.100    RIP2：192.168.60.110

DIP1：192.168.60.120    DIP2：192.168.60.130

VIP：192.168.60.200

在这里插入图片描述

  • 第一步：手动创建IPVS集群，使得DR模型实现
1. 调度器安装ipvsadm工具，配置VIP地址，使得各节点可以ping通VIP地址
 
   ~]# yum install ipvsadm -y
   ~]# ip addr add 192.168.60.200 dev ens32

2. 在两台RS中安装httpd并启动，使用不同的测试网页供后续测试

3. 两台RS中加入ARP响应参数，并添加VIP地址，这里使用一个脚本完成

#!/bin/bash
vip=192.168.60.200

case $1 in

start)

    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 1 > /proc/sys/net/ipv4/conf/ens32/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/ens32/arp_announce

    ip addr add ${vip}/32 broadcast $vip dev lo label lo:0
    ip route add $vip dev lo:0
    ;;

stop)

    ip addr del $vip dev lo label lo:0
    ip route del $vip dev lo:0
    echo 0 > /proc/sys/net/ipv4/conf/ens32/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/ens32/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    ;;

esac

4. 在调度器中加入IPVS规则，测试IPVS集群

~]# ipvsadm -A -t 192.168.60.200:80 -s wrr
~]# ipvsadm -a -t 192.168.60.200:80 -r 192.168.60.100 -g -w 1
~]# ipvsadm -a -t 192.168.60.200:80 -r 192.168.60.110 -g -w 2

~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.60.200:80 wrr
  -> 192.168.60.100:80            Route   1      0          0         
  -> 192.168.60.110:80            Route   2      0          0

5. 测试成功后，将调度器的ipvs规则清空、VIP地址删除，第一步中手动实现IPVS集群创建只是为了测试后端RS可以有效的被调度
  • 第二步：两台调度器中安装keepalived服务、httpd服务，并编辑配置文件
! Configuration File for keepalived

global_defs {
   notification_email {
     busyops@outlook.com
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
   vrrp_skip_check_adv_addr
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    state MASTER
    interface ens32
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.60.200
    }
}

virtual_server 192.168.60.200 80 {
    delay_loop 6
    lb_algo wrr
    lb_kind DR
    persistence_timeout 0
    protocol TCP

    sorry_server 127.0.0.1 80

    real_server 192.168.60.100 80 {
        weight 1
        HTTP_GET {
            url {
                path /
                status_code 200
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.60.110 80 {
        weight 2
        HTTP_GET {
            url {
                path /
                status_code 200
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

---------------------------------------------------------
需要注意，此配置文件为主节点的配置文件，从节点需要将角色改为BACKUP，优先级也需要降低
  • 第三步：停止不同的RS查看健康状态检测情况，停止不同的调度器查看VIP和服务是否可以正常访问，停止全部的RS查看sorry_server是否正常上线

2. 双主模型高可用nginx

在这里插入图片描述

实验环境：两台RS作为后端的web，两台Nginx分别同时代理后端的两台RS，用户可以通过任意节点访问后端的web

RS1：192.168.60.100    RS2：192.168.60.110

Nginx1：192.168.60.120  VIP1：192.168.60.210

Nginx2：192.168.60.130  VIP2：192.168.60.220
  • 第一步：在两台RS中安装httpd，提供不同的网页文件以便测试
  • 第二步：两台Nginx服务器通过upstream将后端的web加入调度，更多Nginx相关配置可以点击这里
1. 直接使用官方yum源进行安装

[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true

2. 启用upstream配置

http {
    ...
    upstream web {
        server 192.168.60.100 weight=1;
        server 192.168.60.110 weight=2;
    }
    
    server {
        location / {
            proxy_pass http://web;
        }
    }
    ...
}
  • 第三步：两台Nginx主机安装Keepalived并配置双主模型，通过手动停止Nginx服务，测试切换情况
Nginx1的keepalived配置

! Configuration File for keepalived

global_defs {
   notification_email {
        busyops@outlook.com
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL1
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_script chk_down {
    script "/bin/bash -c '[[ -e /etc/keepalived/down ]]' && exit 1 || exit 0"
    interval 2
    weight -20
    fall 2
    rise 2
}

vrrp_script chk_nginx {
    script "/usr/bin/killall -0 nginx"
    interval 2
    weight -20
    fall 2
    rise 2
    user root
}
    
vrrp_instance VI_1 {
    state MASTER
    interface ens32
    virtual_router_id 151
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.60.210/24 brd 192.168.60.255 dev ens32 label ens32:0
    }
    track_script {
        chk_down
        chk_nginx
    }
}

vrrp_instance VI_2 {
    state BACKUP
    interface ens32
    virtual_router_id 52
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 2222
    }
    virtual_ipaddress {
        192.168.60.220/24 brd 192.168.60.255 dev ens32 label ens32:1
    }
}

Nginx2的keepalived配置

! Configuration File for keepalived

global_defs {
   notification_email {
        busyops@outlook.com
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL2
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_script chk_down {
    script "/bin/bash -c '[[ -e /etc/keepalived/down ]]' && exit 1 || exit 0"
    interval 2
    weight -20
    fall 2
    rise 2
}

vrrp_script chk_nginx {
    script "/usr/bin/killall -0 nginx"
    interval 2
    weight -20
    fall 2
    rise 2
    user root
}
    
vrrp_instance VI_1 {
    state BACKUP
    interface ens32
    virtual_router_id 151
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.60.210/24 brd 192.168.60.255 dev ens32 label ens32:0
    }
}

vrrp_instance VI_2 {
    state MASTER
    interface ens32
    virtual_router_id 52
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 2222
    }
    track_script {
        chk_down
        chk_nginx
    }
    virtual_ipaddress {
        192.168.60.220/24 brd 192.168.60.255 dev ens32 label ens32:1
    }
}

六、遇到的问题

1. 使用down文件切换主节点

老版本的Keepalived中，vrrp_script配置段添加切换节点配置如下

vrrp_script chk_down {
    script "[[ -e /etc/keepalived/down ]] && exit 1 || exit 0"
    interval 2
    weight -20
    fall 2
    rise 2
}

但是在新版本中（我的是1.3.5），如果继续使用此配置，会发现日志中报错Unable to access script [[，将其改为如下即可，日志会提示VRRP_Script(chk_down) succeeded

vrrp_script chk_down {
    script "/bin/bash -c '[[ -e /etc/keepalived/down ]]' && exit 1 || exit 0"
    interval 2
    weight -20
    fall 2
    rise 2
}

2. keepalived_script用户

如果没有创建keepalived_script用户，日志中会出现WARNING - default user 'keepalived_script' for script execution does not exist - please create.但vrrp_script配置段的down配置并没有影响，暂时不清楚这个用户到底会导致什么问题

3. killall探测无效

  • 如果日志中出现Cannot find script killall in path，安装killall命令即可，其安装包为psmisc.x86_64
  • 安装完psmisc.x86_64依然发现报错WARNING - script `killall` resolved by path search to `/usr/bin/killall`. Please specify full path.，于是我将配置段改为了如下
vrrp_script chk_nginx {
    script "/usr/bin/killall -0 nginx"
    interval 2
    weight -20
    fall 2
    rise 2
}

发现一个节点可以实现killall命令探测健康状态，一个节点不可以，于是又加了一行user配置，所以保险起见还是全加上

vrrp_script chk_nginx {
    script "/usr/bin/killall -0 nginx"
    interval 2
    weight -20
    fall 2
    rise 2
    user root
}

4. 无法解释的玄学问题

  • 虚拟路由ID冲突问题：在做双主实验的过程中，有一个虚拟路由的主节点VIP怎么都上不来，发现日志报错ip address associated with VRID 51 not present in MASTER advert :网上的说法是虚拟路由ID冲突，但是我家里面谁能跟我冲突呢，太TM玄学了
  • 不知道什么问题：两个节点配置完成后，通过VIP无论如何都无法访问后端的RS，用Nginx去访问RS和用物理机直接访问RS都是没问题的。于是我尝试将VIP换了一个地址，就很意外的可以访问了
  • 双主模型配置完成后，一台Keepalived怎么都运行不起来，日志报错Can‘t open PID file /run/keepalived.pid (yet?) after start: No such file or directory，于是我一气之下恢复快照，所有配置文件（nginx+keepalived）全都复制的另一台keepalived的，然后就又能运行了。。。。

希望这些踩过的坑能对你有帮助

BusyOps
关注
专栏目录
keepalived
tianranran的博客
04-05 237
一.keepalived工作原理 1.1 keepalived工具 支持故障自动切换（ Failover） 支持节点健康状态检查（ Health Checking） 1.2工作原理 keepalived采用VRRP热备份协议实现linux服务器的多机备份功能VRRP，虚拟路由冗余协议，是针对路由器的一种备份解决方案。 1.由多台路由组成热备组，通过公用虚拟ip地址对外提供服务。 2.每个热备组内同一时刻只有一台主路由器提供服务，其他路由等待做备份 3.若当前在线路由失效，则其他路由根据优先级自动接替虚拟IP
keepalived基础及使用DR模型构建一个real_server
weixin_33898233的博客
09-21 878
keepalived HA的解决方案的两大流派分为heartbeat、corosync和keepalived keepalived在诞生时被赋予的使命仅仅是为lvs的director的HA、生成ipvs规则和监控后端主机的健康状况keepalived是可以模拟并以进程的方式实现vrrp协议，并以此协议进行工作的HA解决方案vrrp：虚拟冗余路由协议 vrrp...
keepalived高可用
whell_scl的博客
09-02 1296
文章目录1. keepalived简介1.1 keepalived是什么？1.2 keepalived的重要功能1.3 keepalived高可用故障转移的原理1.4 keepalived原理1.4.1 keepalived高可用架构图1.4.2 keepalived工作原理描述2. keepalived配置文件讲解2.1 keepalived默认配置文件2.2 定制主配置文件2.3 实例3 脑裂...
Keepalived详解
最新发布
m0_74053853的博客
08-13 2894
负载均衡是一种在真实集群之间分配 IP 流量的方法 服务器，提供一个或多个高可用性虚拟服务。在设计负载均衡拓扑时，必须考虑负载均衡器本身以及后面的真实服务器的可用性。Keepalived 为负载均衡和高可用性提供了框架。负载均衡框架依赖于众所周知且广泛使用的 Linux 虚拟服务器 （IPVS） 内核模块，提供第 4 层负载均衡。Keepalived 实现了一组健康检查器，以动态和自适应的方式 根据服务器池的运行状况维护和管理负载均衡的服务器池。高可用性是通过虚拟冗余路由协议实现的 （VRRP）。
Keepalived
weixin_34018202的博客
11-22 497
Keepalivedkeepalived Keepalived vrrp协议在Linux主机上以守护进程方式的实现： 能够根据配置文件自动生成ipvs规则： 对各RS做健康状态检测： yum install -y keepalived rpm -ql keepalived 配置文件组成部分 GLOBAL CONFIGURATION VRRPD CONF IGURATION vrrp...
linux_Haproxy_keepalived基础知识.pdf
11-06
配置文件中的`global`段设置了Haproxy运行的一些基础参数，例如工作目录、用户和组、最大连接数等。`defaults`段定义了默认的会话处理方式、重试次数和超时时间。`listen`段则是具体的监听配置，包括启用统计页面、...
keepalived 离线 rpm 安装包
12-16
3. "keepalived_rpm"：这可能是另一个与Keepalived相关的RPM包，可能是附加模块或者特定版本的Keepalived，用于增强或补充基础功能。 综上所述，这个离线RPM安装包提供了一套完整的Keepalived部署解决方案，包括...
keepalived-2.2.7
09-16
总的来说，Keepalived-2.2.7作为一款强大的高可用性工具，通过其丰富的功能和灵活的配置，为企业级服务提供了坚实的基础，确保了关键业务的持续稳定运行。无论是小型企业还是大型数据中心，都能从中受益，构建出高效...
基于ubuntu自动化安装Keepalived以实现高可用
04-27
这个脚本是一个非常基础的示例，你可能需要根据你的具体环境和需求进行修改。例如，你可能需要更改网络接口、虚拟IP地址、子网掩码、认证密码等。此外，这个脚本假设你正在安装Keepalived作为MASTER节点；如果你正在...
keepalived介绍、安装及配置详解
热门推荐
zhangxm_qz的博客
02-22 2万+
文章目录keepalived简介keeplived和LVS关系VRRP工作原理Keepalived体系结构及工作原理Keepalived安装keepalived配置详解 keepalived简介 keepalived起初是为LVS设计的专门用来监控集群系统中各个服务节点的状态如果某个服务节点出现异常或者工作出现故障,keepalived将检测到,并将出现故障的服务节点从集群系统中剔除,而在故障节点恢复正常后,keepalived又可以自动将该服务节点重新加入集群中，这些工作全部自动完成。这部分功能类似于ng
keepalived详解（一）——keepalived理论基础
永远是少年
02-19 2068
今天继续给大家介绍Linux运维相关知识，本文主要内容是keepalivde理论知识。 一、高可用与keepalivde 二、keepalivde简介 三、keepalivde模块剖析
使用LVS+Keepalived构建基础负载均衡
"通过LVS+Keepalived搭建负载均衡" 在构建大规模的互联网系统时，服务器集群技术成为了不可或缺的一部分。这种技术将相同服务部署在多台服务器上，形成集群，共同对外提供服务，如Web应用服务器集群、数据库服务器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值