Rancher入门到精通-2.0 高可用的K8S集群部署方案

最新推荐文章于 2024-08-15 23:40:30 发布
最新推荐文章于 2024-08-15 23:40:30 发布
阅读量1.5k 收藏 3
点赞数
分类专栏： Rancher入门到精通
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wxb880114/article/details/103509476
版权
本文详细介绍了如何使用Rancher2.0构建一个高可用的Kubernetes（K8S）集群，包括SLB（LVS+HAProxy）配置、etcd集群的失败容忍度和推荐配置、Kubernetes Master节点的组件与高可用策略，以及硬件配置建议。重点讨论了Master节点的高可用性和etcd集群的重要性。
摘要由CSDN通过智能技术生成

阅读目录

回到目录

涉及到的内容

  1. LVS
  2. HAProxy
  3. Harbor
  4. etcd
  5. Kubernetes (Master Worker)

回到目录

整体拓补图


以上是最小生产可用的整体拓补图（相关节点根据需要进行增加，但不能减少）

按功能组划分

  1. SLB
    • LVS
    • HAProxy
  2. etcd
  3. K8S Node (Master / Worker)

回到目录

SLB

LVS 、HAProxy 被规划为基础层，主要提供了一个高可用的7层负载均衡器。
由LVS keepalived 提供一个高可用的VIP（虚拟IP）。
这个VIP DR模式转发到后端的HAProxy服务器。
HAProxy反代了K8S Master服务器，提供了K8S Master API的高可用和负载均衡能力。

可以使用Nginx代替HAProxy吗？

是可以的，这边使用HAproxy是因为k8s文档中出现了HAproxy，且后续可能会有4层反代的要求，从而使用了HAProxy。

可以直接从LVS转发到Master吗？

理论上可行，我没有试验。
如果不缺两台机器推荐还是架设一层具有7层代理能力的服务。
k8s apiserver、harbor、etcd都是以HTTP的方式提供的api，如果有7层代理能力的服务后续会更容易维护和扩展。

推荐配置

用途数量CPU内存
Keepalive244GB
HAProxy244GB

回到目录

etcd

etcd是一个采用了raft算法的分布式键值存储系统。
这不是k8s专属的是一个独立的分布式系统，具体的介绍大家可以参考官网，这边不多做介绍。
我们采用了 static pod的方式部署了etcd集群。

失败容忍度

最小可用节点数：(n/2)+1，下面是一个参考表格，其中加粗的是推荐的节点数量：

总数最少存活失败容忍
110
220
321
431
532
642
743
853
954

推荐配置

括号内是官方推荐的配置

用途数量CPU内存
etcd34 (8~16)8GB (16GB~64GB)

官网:
https://etcd.io/
官方硬件建议:
https://etcd.io/docs/v3.3.12/op-guide/hardware/
Static Pod部署文档:
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/setup-ha-etcd-with-kubeadm/

回到目录

Kubernetes集群

kubernetes集群主要有两种类型的节点：Master和Worker。
Master则是集群领导。
Worker是工作者节点。
可以看出这边主要的工作在Master节点，Worker节点根据具体需求随意增减就好了。
Master节点的高可用拓补官方给出了两种方案。

  1. Stacked etcd topology（堆叠etcd）
  2. External etcd topology（外部etcd）

可以看出最主要的区别在于etcd的部署方式。
第一种方案是所有k8s Master节点都运行一个etcd在本机组成一个etcd集群。
第二种方案则是使用外部的etcd集群（额外搭建etcd集群）。
我们采用的是第二种，外部etcd，拓补图如下：

如果采用堆叠的etcd拓补图则是：

这边大家可以根据具体的情况选择，推荐使用第二种，外部的etcd。

参考来源:
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/ha-topology/

Master节点的组件

  1. apiserver
  2. controller-manager
  3. scheduler

一个master节点主要含有上面3个组件 ( 像cloud-controller-manager这边就不多做说明了，正常不会用到 )
apiserver: 一个api服务器，所有外部与k8s集群的交互都需要经过它。（可水平扩展）
controller-manager: 执行控制器逻辑（循环通过apiserver监控集群状态做出相应的处理）（一个master集群中只会有一个节点处于激活状态）
scheduler: 将pod调度到具体的节点上（一个master集群中只会有一个节点处于激活状态）

可以看到除了apiserver外都只允许一个 实例处于激活状态（类HBase）运行于其它节点上的实例属于待命状态，只有当激活状态的实例不可用时才会尝试将自己设为激活状态。
这边牵扯到了领导选举（zookeeper、consul等分布式集群系统也是需要领导选举）

Master高可用需要几个节点？失败容忍度是多少？

k8s依赖etcd所以不存在数据一致性的问题（把数据一致性压到了etcd上），所以k8s master不需要采取投票的机制来进行选举，而只需节点健康就可以成为leader。
所以这边master并不要求奇数，偶数也是可以的。
那么master高可用至少需要2个节点，失败容忍度是(n/0)+1，也就是只要有一个是健康的k8s master集群就属于可用状态。（这边需要注意的是master依赖etcd，如果etcd不可用那么master也将不可用）

Master组件说明:
https://kubernetes.io/docs/concepts/overview/components/
部署文档:
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/high-availability/

硬件配置

用途数量CPU内存
Master348GB

回到目录

高可用验证

至此生产可用的k8s集群已“搭建完成”。为什么打引号？因为还没有进行测试和验证，下面给出我列出的验证清单

还有涉及的BGP相关的验证不在此次文章内容中，后续会为大家说明。

回到目录

写在最后

还有一点需要注意的是物理机的可用性，如果这些虚拟机全部在一台物理机上那么还是存在“单点问题”。这边建议至少3台物理机以上。

为什么需要3台物理机以上？
主要是考虑到了etcd的问题，如果只有两台物理机部署了5个etcd节点，那么部署了3个etcd的那台物理机故障了，则不满足etcd失败容忍度而导致etcd集群宕机，从而导致k8s集群宕机。

未来AI编程
关注
专栏目录
订阅专栏
Rancher入门到精通-2.0 深入理解k8s网络模型及服务访问配置
隔壁老瓦的专栏
10-14 1469
当我们使用k8s部署了一套应用时（比如一个blog系统），要怎么访问它便成了我们最直接的问题，这里的访问应该同时包括了对外（tomcat）和对内（mysql）服务。 要弄清楚这个问题，首先我们需要了解kubernetes网络模型设计的基础原则： 每个pod都拥有一个独立的ip地址，而且假定所有的pod都在一个直接连通的、扁平的网络空间中。 回到题目的问题，我们这里分两步分讨论： 1. 集群...
k8s高可用集群部署
weixin_68562945的博客
07-03 621
对master节点做高可用当高可用集群当中任意节点发生瘫痪会有其他master节点继续提供服务准备三台master节点 （server1 server2 server3）在实现k8s集群高可用时时通过负载均衡层来进行的 所以在实施的时候也要对负载均衡层来实现高可用 （当负载均衡层崩溃时，会有其他的负载均衡层来进行接管）先准备两台机器用来做高可用套件（高可用加负载均衡层）在两台机器上安装 haproxy.x86_64 0:1.5.18-9.el7_9.1编辑文件/etc/haproxy/haproxy.
高可用的K8S集群部署方案
weixin_30642267的博客
09-09 3281
涉及到的内容 LVS HAProxy Harbor etcd Kubernetes (Master Worker) 整体拓补图 以上是最小生产可用的整体拓补图（相关节点根据需要进行增加，但不能减少） 按功能组划分 SLB LVS HAProxy etcd K8S Node (Master / Worker) SLB LVS 、HAProxy 被规划为基础层，主要提供了一个高...
从零开始搭建k8s集群详细步骤
最新发布
2303_77224751的博客
08-15 928
声明。
搭建k8s高可用集群（Keepalived 和 HAproxy）
这里是火火火的世界
03-20 3644
spec:hosts:中每一行代表一个机器，要把所有机器列出来，name：实例的主机名（就是第一步准备工作时设置的hostname）,address和internalAddress是每个机器的IP地址，后面的user和password是能远程登录机器的用户名和密码。所有的master节点和worker工作节点配置docker镜像加速器（这里额外添加了docker的生产环境核心配置cgroup）使用如下命令在所有的master节点和worker工作节点安装docker并配置docker镜像加速器。
k8s-kubernetes--高可用集群的搭建
Gong_yz的博客
03-20 2098
k8s集群用到的高可用技术主要是keepalived和haproxy； keepalived：Keepalived主要是通过虚拟路由冗余来实现高可用功能；haproxy： haproxy 类似于nginx， 是一个负载均衡、反向代理软件。 nginx 采用master-workers 进程模型，每个进程单线程，多核CPU能充分利用。
HAproxy实现负载均衡，haproxy常见配置（设定日志文件，实现访问控制，动静资源分离存储，读写分离）
fighting
10-20 440
什么是HAProxy HAProxy是一款提供高可用性、负载均衡以及基于TCP（第四层）和HTTP（第七层）应用的代理软件，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于哪些负载特别大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可...
Rancher入门到精通-2.0 K8S容器时区自动配置-Pod Preset
隔壁老瓦的专栏
12-24 2358
默认情况下，K8S集群里管控的Pod内部时区是UTC0时，跟我们实际所在时区不一致，会导致日志记录等方面存在问题。所以需要使容器内部与宿主机（node节点)的时间保持一致。想要解该问题主要有以下几种思路。 Docker层面时区设置 第一种思路是从docker层面来完成时区设置，其有两种实现方式，分别是通过环境变量以及挂载主机文件方式来完成。以下方式均需保证当前宿主机的时区配置正确。 1...
Rancher入门到精通-2.0 集群部署4条建议
隔壁老瓦的专栏
12-11 828
1、压测后期集群master节点出现磁盘压力​，压测结束后恢复正常 2、磁盘空间占用大，通过重新部署容器内的日志已做实验可行 通过重新部署容器内的日志 已做实验可行 3、etcd的读写比较大后期有条件需要单独部署etcd的节点 4、master节点选了control、etcd、worker，有条件最好不要设置太多角色，以免互相干扰 ...
Rancher入门到精通-2.0 k8s 前后端分离项目部署中nginx 接口如何配置
隔壁老瓦的专栏
10-18 1748
首先来了解一下kubenetes的网络模型； k8s网络模型的基础是: 每个pod一个ip，而且假定所有的pod都在一个网路里，可以直接连通 service主要有三种类型：一种叫clusterIP,一种叫nodePort,一种叫外部的LoadBalancer 1、 ClusterIP:仅仅使用一个集群内部的IP地址 - 这是默认值。选择这个值意味着你只想这个服务在集群内部才可以被访...
K8S高可用集群部署
weixin_50712581的博客
09-05 1231
分别在其他两个master ,k8s-master02,k8s-master03上执行k8s-master01 init后输出的join命令，如果找不到可以在k8s-master01执行会重新生成 kubeadm token create --print-join-command。尝试停掉k8s-master01的keepalived服务，查看vip是否能漂移到其他的master，并且重新启动k8s-master01的keepalived服务，查看vip是否能正常漂移回来，证明配置没有问题。
k8s部署篇之高可用集群(Kubeadm)
Sunshine_Mr_Sun的博客
05-23 4569
前言 公司DDD架构的新项目采用云原生，K8s+Docker这方面的知识就必不可少了 因此，我背着同事偷偷的卷了卷，然后Docker考核成了公司唯一一个优秀，然后。。。后续就不多说了，总之一言难尽 本文采用Kubeadm的方式，进行高可用安装K8s集群。 温馨提示：仅供学习使用，生产环境需二进制方式部署~ 享受花里胡哨模板阅读~点击 基本环境配置 节点规划 主机名 IP地址 说明 k8s-master01 ~ 03 192.168.239.11 ~ 13 master节点 * 3
k8s 高可用集群搭建
liudongyang123的博客
03-25 4117
参考链接 1.keepalived高可用方案 基于kubeadm搭建k8s高可用集群 - 云+社区 - 腾讯云 2.keepalived+haproxy 高可用负载方案 使用kubeadm搭建高可用k8s v1.16.3集群 - 云+社区 - 腾讯云 以上两个是搭建k8s高可用集群的两个方案，区别就是一个用haproxy给master做了负载，因为光用keepalived只是保证了高可用，不做负载流量还是会转向虚拟ip也就是keepalived的VIP，用了haproxy，在每个master上都.
K8s高可用集群搭建
记录工作开发中遇到的技术难点，方便自己查看，也希望可以帮助到他人...
11-23 4460
用到的高可用技术主要是keepalived和haproxy。keepalivedKeepalived主要是通过虚拟路由冗余来实现高可用功能。Keepalived一个基于VRRP(Virtual Router Redundancy Protocol - 虚拟路由冗余协议) 协议来实现的 LVS 服务高可用方案，可以利用其来解决单点故障。
K8s集群的高可用
qq_37705525的博客
05-14 415
K8s集群的高可用
K8S-高可用集群
迷雾总会解
08-26 1405
keepalived 通过选举（看服务器设置的权重）挑选出一台热备服务器做 MASTER 机器，MASTER 机器会被分配到一个指定的虚拟 ip，外部程序可通过该 ip 访问这台服务器，如果这台服务器出现故障（断网，重启，或者本机器上的 keepalived crash 等），keepalived 会从其他的备份机器上重选（还是看服务器设置的权重）一台机器做 MASTER 并分配同样的虚拟 IP，充当前一台 MASTER 的角色。Keepalived 的。Keepalived以。...
K8s实战——搭建集群，实现高可用！
白T
08-21 1065
运发开发必备，搭建1主2从k8s高可用集群！
Rancher入门到精通-2.0 etcd Advanced Configurations
隔壁老瓦的专栏
10-18 691
Tuning etcd for large installations When running larger Rancher installations with 15 or more clusters it is recommended to increase the default keyspace for etcd from the default 2GB. The maximum se...
rancher入门到精通-2.0
07-28
回答: 对于Rancher入门到精通-2.0的问题，我无法提供具体的回答，因为在提供的引用内容中没有包含与Rancher入门到精通-2.0相关的信息。引用\[2\]提到了一个关于nginx-ingress的问题，但是没有提供具体的解决方案或教程。如果您需要关于Rancher入门到精通-2.0的详细信息，建议您查阅Rancher官方文档或参考其他相关资源。 #### 引用[.reference_title] - *1* *3* [Rancher入门到精通-2.0 产品架构详解](https://blog.csdn.net/wxb880114/article/details/105964549)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [Rancher入门到精通-2.0 ingress-nginx 异常 /etc/ingress-controller/ssl/default-fake-certificate.pem ...](https://blog.csdn.net/wxb880114/article/details/102598750)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

未来AI编程

共鸣===鼓励 打赏您随意

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值