云原生之高可用集群Keepalived（持续更新中）

最新推荐文章于 2024-08-17 14:29:17 发布
最新推荐文章于 2024-08-17 14:29:17 发布
阅读量591 收藏 12
点赞数 10
分类专栏： 云原生 文章标签： 云原生
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/L18291789297/article/details/141142048
版权

高可用集群Keepalived

1. 前言

1.1 何为高可用

高可用（High Availability，HA）是指系统、服务或组件在面对故障、故障或其他问题时能够保持持续运行并提供服务的能力。高可用性通常是通过冗余、故障转移和负载均衡等技术实现的。

以下是一些常见的高可用性技术和方法：

  1. 冗余：使用多个备份组件（如服务器、存储设备或网络路径）来避免单点故障。比如，数据库可以通过主从复制来实现冗余。

  2. 故障转移：当主系统出现故障时，自动切换到备用系统。这样可以保证服务的连续性。例如，使用负载均衡器来监控服务器状态并在需要时将流量转移到健康的服务器上。

  3. 负载均衡：通过将请求分配到多个服务器来均衡负载，防止某一台服务器过载，同时也提升系统的可用性。

  4. 监控和自动恢复：持续监控系统健康状态，并在检测到问题时自动采取恢复措施，如重启服务或调整配置。

  5. 数据备份和恢复：定期备份数据并确保备份可以快速恢复，以防数据丢失或损坏。

简单来说高可用性设计的目标就是尽可能减少系统的停机时间和服务中断，保证业务的连续性和稳定性。

1.2 如何实现高可用

  • 提升系统高用性的解决方案：降低MTTR- Mean Time To Repair(平均故障时间)

解决方案：建立冗余机制

  • active/passive 主/备
  • active/active 双主
  • active --> HEARTBEAT --> passive
  • active <–> HEARTBEAT <–> active

2.高可用集群Keepalived的相关介绍

2.1 集群类型

  • LB：Load Balance 负载均衡
    LVS/HAProxy/nginx（http/upstream, stream/upstream）
  • HA：High Availability 高可用集群
    数据库、Redis
  • SPoF: Single Point of Failure，解决单点故障
    HPC：High Performance Computing 高性能集群

2.2 VRRP

（1）VRRP：Virtual Router Redundancy Protocol 虚拟路由冗余协议，以下为架构图
在这里插入图片描述
（2）相关术语

1.通告：心跳，优先级等；周期性

2.工作方式：抢占式，非抢占式

3.安全认证：

  • 无认证
  • 简单字符认证：预共享密钥
  • MD5

4.工作模式：

  • 主/备：单虚拟路由器
  • 主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）

2.3 Keepalived简介

Keepalived即vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务
功能：

  • 基于vrrp协议完成地址流动
  • 为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)
  • 为ipvs集群的各RS做健康状态检测
  • 基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务

2.4 Keepalived架构

在这里插入图片描述

  • 用户空间核心组件：
    vrrp stack：VIP消息通告
    checkers：监测real server
    system call：实现 vrrp 协议状态转换时调用脚本的功能
    SMTP：邮件组件
    IPVS wrapper：生成IPVS规则
    Netlink Reflector：网络接口
    WatchDog：监控进程
  • 控制组件：提供keepalived.conf 的解析器，完成Keepalived配置
  • IO复用器：针对网络目的而优化的自己的线程抽象
  • 内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限

3.Keepalived相关部署

3.1 环境搭建

在这里插入图片描述

  • 各节点时间必须同步：ntp, chrony
  • 关闭防火墙及SELinux
  • 各节点之间可通过主机名互相通信：非必须
  • 建议使用/etc/hosts文件实现：非必须
  • 各节点之间的root用户可以基于密钥认证的ssh服务完成互相通信：非必须

3.2 相关文件介绍

软件包名：keepalived
主程序文件：/usr/sbin/keepalived
主配置文件：/etc/keepalived/keepalived.conf
配置文件示例：/usr/share/doc/keepalived/
Unit File：/lib/systemd/system/keepalived.service
Unit File的环境配置文件：/etc/sysconfig/keepalived
在这里插入图片描述

3.3 基础环境配置

主机名IP
KA1172.25.254.10（VIP：172.25.254.100）
KA2172.25.254.20（VIP：172.25.254.100）
realserver1172.25.254.110
realserver2172.25.254.120
test172.25.254.7

4.Keepalived实战

4.1 实现master/slave的 Keepalived 单主架构

4.1.1 内容配置

（1）给KA1和KA2上均部署Keepalived

#安装keepalived
[root@ka1 ~]# yum install keepalived.x86_64 -y

[root@ka2 ~]# yum install keepalived.x86_64 -y

（2）配置文件
注：每修改一次配置文件，需要生效的话则要重启服务

[root@ka1 ~]# vim /etc/keepalived/keepalived.conf

全局配置（注：这里组播地址最后设置为了224.0.0.18）
在这里插入图片描述
配置虚拟路由器
在这里插入图片描述

#有一点内容没有截到
    virtual_ipaddress {
        172.25.254.100/24 dev eth0 label eth0:1
    }

#启动服务
[root@ka1 ~]# systemctl enable --now keepalived.service

（3）给KA2配置文件内容（和KA1有不同）
在这里插入图片描述
接着启动服务
（4）给realserver1和realserver2配置httpd服务

[root@realserver1 ~]# yum install httpd -y
#设置一个网页信息，为了测试用
[root@realserver1 ~]# echo 172.25.254.110 > /var/www/html/index.html
[root@realserver1 ~]# systemctl enable --now httpd

[root@realserver2 ~]# yum install httpd -y
[root@realserver2 ~]# echo 172.25.254.120 > /var/www/html/index.html
[root@realserver2 ~]# systemctl enable --now httpd

（5）配置到这里可以测试httpd服务的正确性和keepalived的正确性

测试httpd服务
我用的windows测试
访问测试的结果正确

在这里插入图片描述

测试keepalived服务
查看vip出现在谁的网卡信息上
我这里是在KA1上，将KA1的服务停掉后转到KA2上
然后重启KA1的服务，因为默认是抢占模式，所以vip又会在KA1上

初始状态
在这里插入图片描述
KA2
在这里插入图片描述

[root@ka1 ~]# systemctl stop keepalived.service

停掉后vip转移
在这里插入图片描述

KA2上出现vip
在这里插入图片描述

这时重启KA1
在这里插入图片描述

KA1上又有了vip
在这里插入图片描述

（6）接着做一个注释（KA1和KA2都做），并重启测试
在这里插入图片描述
在这里插入图片描述

4.1.2 测试

测试（这个命令是在KA1正常工作的时候会持续给KA2发送数据包，表示KA1他自己还能正常工作，一旦KA1不能正常工作，则不会给KA2发消息，那么KA2在接收不到来自KA1的消息时就会默认KA1故障了，那么KA2自己就得接过KA2，保证服务的持续进行。）

[root@ka1 ~]# tcpdump  -i eth0 -nn host 224.0.0.18

在这里插入图片描述

重启一个KA1的会话，然后关闭keepalived服务，看是否会将VIP漂到KA2上

[root@ka1 ~]# systemctl stop keepalived.service

在这里插入图片描述
这里成功切换到了KA2上，接着这里默认是抢占模式，所以重启KA1的服务，看VIP会不会被抢回来

[root@ka1 ~]# systemctl restart keepalived.service

在这里插入图片描述
KA1抢了回来了
测试成功，可以实现主备切换

4.2 抢占模式和非抢占模式

默认抢占模式会引起网络抖动，所以一般生产中会设置为非抢占模式或者延迟抢占模式

4.2.1 内容配置

（1）KA1上
在这里插入图片描述

（2）KA2上
在这里插入图片描述

4.2.2 测试

测试思路：此时VIP在KA1上，那么进行测试时，将KA1的服务停掉，这时VIP会漂到KA2上，再将KA1启动，看看这时VIP在谁身上，如果是KA2上，那么证明测试成功。最后再将KA2上停掉服务，看VIP能否漂到KA2上

测试开始
在这里插入图片描述
这时关掉了KA1上的服务，显示KA2在给KA1发送数据包
在这里插入图片描述
这里重启KA1的服务，但VIP并没有漂回去，所以测试成功

[root@ka1 ~]# systemctl restart keepalived.service

在这里插入图片描述
这里进行了停掉KA2并重启了KA2，也没有进行抢占，所以测试为非抢占模式
在这里插入图片描述
测试成功

4.(2.5) 延迟抢占模式

4.(2.5).1 内容配置

（1）KA1上
在这里插入图片描述
（2）KA2上
在这里插入图片描述

4.(2.5).2 测试

测试思路：同非抢占模式一致，只是这里设置的抢占延迟为5秒，在停掉服务接着重启后的5秒内是不能抢到VIP，等到5秒（抢占延迟时间）后，会将VIP抢占过来。

这里因为是以文本的形式不太容易演示，要是以视频的演示会好演示，所以这里我自己做过测试了，是成功的，感兴趣的话自己可以尝试一下，如果有问题欢迎评论或者私信我

4.3 VIP单播配置

  • 默认keepalived主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流量

4.3.1 内容配置

（1）KA1上
在这里插入图片描述

（2）KA2上
在这里插入图片描述

4.3.2 测试

  • 测试思路：同时在KA1和KA2上进行单播测试，此时KA1有VIP，在KA1上有数据显示，在KA2上没有，在KA1停掉服务后，在VIP漂到KA2上后KA2的测试语句也有了数据流向

（1）开始同时测试
KA1上
在这里插入图片描述
KA2上
在这里插入图片描述
（2）关闭KA1的服务后，KA2有了数据流向
在这里插入图片描述

此时KA1上显示unreachable
在这里插入图片描述
测试成功

4.4 Keepalived 通知脚本配置

  • 当keepalived的状态变化时，可以自动触发脚本的执行，比如：发邮件通知用户
    默认以用户keepalived_script身份执行脚本
    如果此用户不存在，以root执行脚本可以用下面指令指定脚本执行用户的身份

4.4.1 内容配置

(1)下载插件，并在网页打开qq邮箱（这里我用的是我的qq邮箱，也可以使用其他邮箱）

[root@ka1 ~]# yum install mailx -y
[root@ka1 ~]# echo hello world | mail -s test 1879886286@qq.com

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
生成授权码，会让你发短信，发就是了，最后得到授权码，复制下来
（2）写配置文件，两台KA都做，内容一样

[root@ka1~]# vim /etc/mail.rc 
[root@ka2 ~]# vim /etc/mail.rc

在这里插入图片描述
先做个小测试
在这里插入图片描述
在这里插入图片描述
收到信息，接着就可以写脚本配置keepalived的提示信息的功能了
（3）写脚本

[root@ka1 ~]# vim /etc/keepalived/mail.sh

脚本内容
在这里插入图片描述

#给脚本文件追加可执行权限
[root@ka1 ~]# chmod +x /etc/keepalived/mail.sh

#编辑keepalived配置文件，加入下边三行内容，并重启mail和keepalived服务
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf

在这里插入图片描述

保存并重启服务

4.4.2 测试

#关掉keepalived服务
[root@ka1 ~]# killall keepalived
接着重启服务
[root@ka1 ~]# systemctl restart keepalived.service

收到邮件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
测试成功

4.5 实现 master/master 的 Keepalived 双主架构

  • 注：在进行这个测试时关掉邮件服务
  • master/slave的单主架构，同一时间只有一个Keepalived对外提供服务，此主机繁忙，而另一台主机却很空闲，利用率低下，可以使用master/master的双主架构，解决此问题。
  • 即进行资源的合理化使用，使用两个VIP对应两个服务

4.5.1 内容配置

（1）KA1上（在第二个服务VIP那里，需要将eth0：1改为eth0：2）
在这里插入图片描述

（2）KA2上
在这里插入图片描述

4.5.2 测试

测试思路：可以看到VIP：172.25.254.100在KA1上，VIP：172.25.254.200在KA2上。
（1）KA1上
在这里插入图片描述
（2）KA2上
在这里插入图片描述
测试成功

4.6 实现IPVS的高可用性

  • 这里使用LVS-DR和Keepalived结合的模式
  • 需要在realserver的lo网卡上配置VIP

4.6.1 内容配置

  • 配置思路：先在realserver主机上配置VIP，以及配置arp相关内容，接着在KA主机上配置keepalived文件，以及安装ipvsadm软件及相关配置文件

（1）realserver1上

[root@realserver1~]# ip a a 172.25.254.100/32 dev lo
[root@realserver1 ~]# vim /etc/sysctl.d/arp.conf

在这里插入图片描述

（2）realserver2上

[root@realserver2 ~]# ip a a 172.25.254.100/32 dev lo
[root@realserver2 ~]# vim /etc/sysctl.d/arp.conf

在这里插入图片描述
（3）KA1上

[root@ka1 ~]# yum install ipvsadm.x86_64 -y

在这里插入图片描述
在这里插入图片描述

（4）KA2上

[root@ka2 ~]# yum install ipvsadm.x86_64 -y

在这里插入图片描述
在这里插入图片描述

4.6.2 测试

（1）KA1上
在这里插入图片描述

（2）KA2上

在这里插入图片描述

(3)在测试机上
在这里插入图片描述
测试成功

4.7 实现其它应用的高可用性 VRRP Script

  • 实现HAProxy高可用

4.7.1 内容配置

（1）KA1上

#下载haproxy软件
[root@ka1 ~]# yum install haproxy.x86_64 -y

#修改内核参数，避免一台主机没有IP起不来服务
在这里插入图片描述
接着配置haproxy文件

[root@ka1 ~]# vim /etc/haproxy/haproxy.cfg 
[root@ka1 ~]# systemctl enable --now haproxy.service

在这里插入图片描述

（2）KA2上

[root@ka1 ~]# yum install haproxy.x86_64 -y

在这里插入图片描述
接着配置haproxy文件

[root@ka2 ~]# vim /etc/haproxy/haproxy.cfg 
#修改完后启动服务
[root@ka2 ~]# systemctl enable --now haproxy.service

在这里插入图片描述
（3）将上面实验做到realserver主机上的VIP和arp响应关掉

[root@realserver1 ~]# ip a d 172.25.254.100/32 dev lo
[root@realserver1 ~]# vim /etc/sysctl.d/arp.conf

在这里插入图片描述

[root@realserver2 ~]# ip a d 172.25.254.100/32 dev lo
[root@realserver2 ~]# vim /etc/sysctl.d/arp.conf

在这里插入图片描述
(4)注释掉实验6的LVS-DR模式的内容（KA1和KA2上都注释）
在这里插入图片描述
(5)写脚本加权限
KA1
在这里插入图片描述
KA2
在这里插入图片描述
（6）写配置文件
KA1上（KA2上也配置）
在这里插入图片描述
在这里插入图片描述
重启服务

4.7.2 测试

  • 测试思路：在测试机上一直访问VIP，然后测试停掉KA1上的haproxy服务，看能否把VIP漂到KA2上
    在这里插入图片描述
    在这里插入图片描述
    测试成功

最后，分享一张黄昏
在这里插入图片描述
看到这里的同志，加油！

蝉鸣@l
关注
  • 10
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【云原生】高可用集群KEEPALIVED（理论篇）
m0_64600810的博客
08-12 1311
vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务官网：http://keepalived.org/基于vrrp协议完成地址流动为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)为ipvs集群的各RS做健康状态检测基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务2.2 Keepalived 架构官方文档：用户空间核心组件：vrrp stack：VIP消息通告checkers：监测real server。
【云原生】高可用集群KEEPALIVED？你不懂，实验做做就懂了
m0_64600810的博客
08-14 596
RHEL7.9。
高可用集群keepalived从部署到实战一篇解决
m0_62977692的博客
08-14 764
vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务功能：基于vrrp协议完成地址流动为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)为ipvs集群的各RS做健康状态检测基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务关闭其中一个keepalive再访问：还是不会断，因为VIP到另外一台调度器上去了而且keepalived还提供后端检测，如果web服务器挂了，调度器会自动跟新调度策略。
【云原生】搭建k8s高可用集群—更新于2023.04
我是小bā吖的博客
02-25 3379
k8s高可用集群搭建
云原生|docker|基于docker部署高可用keepalived集群
zsk_john的技术分享专用博客
12-07 2493
那么，docker有一个理念是：一次构建，随处运行，通过这次的build示例，将这个理念是体现的非常好了。 本文将在cento7操作系统下利用dockerfile制作keepalived镜像，然后在服务器上组建一个简单的keepalived集群，也就是抛砖引玉吧。
【深入学习Redis丨第三篇】深入详解Redis高可用集群模式
热门推荐
陈橘又青的博客
06-11 8万+
主数据库可以进行读写操作，当读写操作导致数据变化时会自动将数据同步给从数据库* 从数据库一般都是只读的，并且接收主数据库同步过来的数据* 一个master可以拥有多个slave，但是一个slave只能对应一个master* slave挂了不影响其他slave的读和master的读和写，重新启动后会将数据从master同步过来* master挂了以后，不影响slave的读，但redis不再提供写服务，master重启后redis将重新对外提供写服务。
k8s-高可用集群实现（keepalived）
渐行渐远的博客
04-23 158
一 环境规划 大致拓扑： 我这里是etcd和master都在同一台机器上面 二 系统初始化 见 https://www.cnblogs.com/huningfei/p/12697310.html 三 安装k8s和docker 见 https://www.cnblogs.com/huningfei/p/12697310.html 四 安装keepalived 在三台master节点上安装 yum...
Kubernetes搭建高可用集群(keepalived+haproxy)
qq_40914472的博客
08-09 1461
Kubernetes搭建高可用集群(keepalived+haproxy)
高可用集群 Keepalived 所有内容讲解
cp_dvd的博客
10-27 4116
vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务官网：http://keepalived.org/基于vrrp协议完成地址流动为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)为ipvs集群的各RS做健康状态检测基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy 等vrrp_script { #定义一个检测脚本，在global_defs 之外配置。
云平台技术选型之四：MySQL高可用
06-14
高可用MySQL集群一般会提供一个写VIP和N个读VIP，其中N表示集群中可提供读服务的节点数量。VIP在这里指的是虚拟IP地址，它可以在集群中的不同节点间切换，以保证服务的连续性。 在实际部署时，还应当考虑到各种故障...
kubeadm+vip 高可用部署.docx
07-19
然而，随着技术的发展，现在我们可以利用 kube-vip 这个工具来提供一个原生的 Kubernetes 高可用负载均衡解决方案，从而避免在集群外部设置额外的负载均衡器。 kube-vip 是一个轻量级的解决方案，它可以作为静态 ...
keepalived.tar
03-11
【标题】"keepalived.tar" 是一个包含 keepalived 软件的压缩文件，通常用于实现高可用性和负载均衡。Keepalived 是一个基于 VRRP 协议（Virtual Router Redundancy Protocol）的开源项目，它可以配合 LVS（Linux ...
CTG-BSS_分布式WEB框架_操作手册V0.4 共44页.docx
03-18
ipvsadm用于管理LVS集群，而keepalived用于实现主备切换，提高系统的高可用性。 - 安装ipvsadm：首先确认内核支持LVS的ipvs模块，然后通过源码编译安装ipvsadm。 - 安装keepalived：确保keepalived能够正常运行，...
完整kubernetes v1.20.x二进制部署
04-29
为了提高Kubernetes集群的可靠性和可用性，通常会采用高可用架构，例如扩容多个Master节点并使用负载均衡器进行流量分发。 1. **安装Docker**：确保在新的Master节点上安装Docker。 2. **部署Master2Node**： - ...
KubeSphere核心实战_kubesphere部署redis02_创建redis现指定存储卷_配置外网访问服务---分布式云原生部署架构搭建048
添柴程序猿的专栏
08-17 100
如果我们把mysql的副本数量修改成3,比如说,这个时候,这3个mysql,会使用,同一个存储卷,就是我们之前创建的那一个。系统就会自动为,这多个redis副本去自动创建存储卷,这样,每个redis副本都有自己的存储卷,这种情况是比较好的.当我们开启多个mysql副本的时候,他会把数据,都存在我们之前创建的这个mysql-pvc存储卷中,这样是不合理的,这说明,我们创建工作负载的时候,现创建存储卷的话,那么,存储卷会和副本,绑定,也就是,每新增一个副本,就会为这个副本。
微服务架构
Kang
08-14 987
微服务架构
KubeSphere核心实战_kubesphere部署redis01_为redis指定配置文件_指定存储卷_配置服务---分布式云原生部署架构搭建047
添柴程序猿的专栏
08-17 85
可以看到启动命令就是redis-server 然后,对应的参数是/etc/redis/redis.conf。然后再去添加容器,这里从官网,输入redis,让他自己去搜索就可以了,可以看到,让后,也可以。然后我们再来,部署一下redis,可以看到,首先去容器官网去找到对应的redis的镜像然后。然后,挂载路径主要是,这里根据我们之前规划的,填写,读写,然后是容器中的/data目录。可以看到这里,我们选择配置文件是只读的,然后放到容器的/etc/redis文件夹下。
034 疫情数据查看.zip
最新发布
08-20
该毕业设计将深入探讨如何通过Java语言构建一个完整且高效的《034 疫情数据查看》。毕业设计的架构涵盖了从基础框架搭建到关键功能实现的每一个环节，并采用了模块化设计，使整个系统易于理解、扩展和维护。 无论是数据处理、用户交互还是后台管理，我们都为您提供了详细的代码示例和设计文档。 这个毕业设计的独特之处在于其高度的实用性和灵活性。 我们提供了全面的资源包，帮助您快速入门，并支持您在此基础上进行个性化的功能扩展。 无论您是正在寻找灵感的学生，还是需要现成解决方案的开发者，下载该资源将助您事半功倍。
腾讯云搭建云主机高可用集群：Keepalived实战
本文档主要介绍了如何在腾讯云环境中利用云主机和Keepalived实现高可用性（High Availability, HA）的功能。高可用虚拟IP（High Availability Virtual IP, HAVIP）是腾讯云提供的一种服务，用于确保应用程序始终可用...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值