本系列文章将记录我在自学 Kubernetes 过程中积累的一些课程笔记。这些内容绝大部分来自官方文档,一部分摘录自其他博主的精彩文章,并融入了我自己的理解和见解。此外,我还会记录在自学过程中遇到的问题及其解决方案。本系列课程将理论与实践相结合,旨在帮助读者更好地掌握 Kubernetes。当然,您也可以直接参考官网或链接中的其他文章。本系列笔记仅是我在学习过程中整理的心得,如有错误,敬请指正,感谢包涵。
第一章 初识 Kubernets
-
Kubernets 简介
-
为什么需要 Kubernets
-
Kubernets 能做什么
-
Kubernets 不是什么
1 简介
Kubernetes 这个名字源于希腊语,意为“舵手”或“飞行员”。K8s 这个缩写是因为 K 和 s 之间有 8 个字符的关系。 Google 在 2014 年开源了 Kubernetes 项目。 Kubernetes 建立在Google 大规模运行生产工作负载十几年经验的基础上, 结合了社区中最优秀的想法和实践。
Kubernetes 是一个可移植、可扩展的开源平台,用于管理容器化的工作负载和服务,可促进声明式配置和自动化。 Kubernetes 拥有一个庞大且快速增长的生态,其服务、支持和工具的使用范围相当广泛。
2 为什么需要 Kubernets
传统部署时代:
早期,各个组织是在物理服务器上运行应用程序。 由于无法限制在物理服务器中运行的应用程序资源使用,因此会导致资源分配问题。 例如,如果在同一台物理服务器上运行多个应用程序, 则可能会出现一个应用程序占用大部分资源的情况,而导致其他应用程序的性能下降。 一种解决方案是将每个应用程序都运行在不同的物理服务器上, 但是当某个应用程序资源利用率不高时,剩余资源无法被分配给其他应用程序, 而且维护许多物理服务器的成本很高。
虚拟化部署时代:
因此,虚拟化技术被引入了。虚拟化技术允许你在单个物理服务器的 CPU 上运行多台虚拟机(VM)。 虚拟化能使应用程序在不同 VM 之间被彼此隔离,且能提供一定程度的安全性, 因为一个应用程序的信息不能被另一应用程序随意访问。
虚拟化技术能够更好地利用物理服务器的资源,并且因为可轻松地添加或更新应用程序, 而因此可以具有更高的可扩缩性,以及降低硬件成本等等的好处。 通过虚拟化,你可以将一组物理资源呈现为可丢弃的虚拟机集群。
每个 VM 是一台完整的计算机,在虚拟化硬件之上运行所有组件,包括其自己的操作系统。
容器部署时代:
容器类似于 VM,但是更宽松的隔离特性,使容器之间可以共享操作系统(OS)。 因此,容器比起 VM 被认为是更轻量级的。且与 VM 类似,每个容器都具有自己的文件系统、CPU、内存、进程空间等。 由于它们与基础架构分离,因此可以跨云和 OS 发行版本进行移植。不可否认容器是打包和运行应用程序最好的方式,可以做到一次构建,多次部署,容器因具有许多优势而变得流行起来。但随着容器部署的流行,单纯基于容器的部署已经无法满足需求。这也正是为什么我们需要 Kubernetes,而不仅仅是 Docker。尽管 Docker 非常适合开发和测试环境,但在生产环境中,特别是对于大规模分布式应用,Kubernetes 提供了更强大的管理、扩展和自动化能力,使得运维更加高效和可靠。因此,使用 Kubernetes 来部署容器化应用,可以显著提升应用的可用性、可靠性和可扩展性。
3 Kubernets 能做什么
这就是 Kubernetes 要来做的事情! Kubernetes 为你提供了一个可弹性运行分布式系统的框架。 Kubernetes 会满足你的扩展要求、故障转移你的应用、提供部署模式等。
Kubernetes 为你提供:
-
服务发现和负载均衡
Kubernetes 可以使用 DNS 名称或自己的 IP 地址来暴露容器。 如果进入容器的流量很大, Kubernetes 可以负载均衡并分配网络流量,从而使部署稳定。
-
存储编排
Kubernetes 允许你自动挂载你选择的存储系统,例如本地存储、公共云提供商等。
-
自动部署和回滚
你可以使用 Kubernetes 描述已部署容器的所需状态, 它可以以受控的速率将实际状态更改为期望状态。 例如,你可以自动化 Kubernetes 来为你的部署创建新容器, 删除现有容器并将它们的所有资源用于新容器。
-
自动完成装箱计算
你为 Kubernetes 提供许多节点组成的集群,在这个集群上运行容器化的任务。 你告诉 Kubernetes 每个容器需要多少 CPU 和内存 (RAM)。 Kubernetes 可以将这些容器按实际情况调度到你的节点上,以最佳方式利用你的资源。
-
自我修复
Kubernetes 将重新启动失败的容器、替换容器、杀死不响应用户定义的运行状况检查的容器, 并且在准备好服务之前不将其通告给客户端。
-
密钥与配置管理
Kubernetes 允许你存储和管理敏感信息,例如密码、OAuth 令牌和 SSH 密钥。 你可以在不重建容器镜像的情况下部署和更新密钥和应用程序配置,也无需在堆栈配置中暴露密钥。
-
批处理执行 除了服务外,Kubernetes 还可以管理你的批处理和 CI(持续集成)工作负载,如有需要,可以替换失败的容器。
-
水平扩缩 使用简单的命令、用户界面或根据 CPU 使用率自动对你的应用进行扩缩。
-
IPv4/IPv6 双栈 为 Pod(容器组)和 Service(服务)分配 IPv4 和 IPv6 地址。
-
为可扩展性设计 在不改变上游源代码的情况下为你的 Kubernetes 集群添加功能。
4 Kubernets 不是什么
Kubernetes 不是传统的、包罗万象的 PaaS(平台即服务)系统。 由于 Kubernetes 是在容器级别运行,而非在硬件级别,它提供了 PaaS 产品共有的一些普遍适用的功能, 例如部署、扩展、负载均衡,允许用户集成他们的日志记录、监控和警报方案。 但是,Kubernetes 不是单体式(monolithic)系统,那些默认解决方案都是可选、可插拔的。 Kubernetes 为构建开发人员平台提供了基础,但是在重要的地方保留了用户选择权,能有更高的灵活性。
Kubernetes:
-
不限制支持的应用程序类型。 Kubernetes 旨在支持极其多种多样的工作负载,包括无状态、有状态和数据处理工作负载。 如果应用程序可以在容器中运行,那么它应该可以在 Kubernetes 上很好地运行。
-
不部署源代码,也不构建你的应用程序。 持续集成(CI)、交付和部署(CI/CD)工作流取决于组织的文化和偏好以及技术要求。
-
不提供应用程序级别的服务作为内置服务,例如中间件(例如消息中间件)、 数据处理框架(例如 Spark)、数据库(例如 MySQL)、缓存、集群存储系统 (例如 Ceph)。这样的组件可以在 Kubernetes 上运行,并且/或者可以由运行在 Kubernetes 上的应用程序通过可移植机制(例如开放服务代理)来访问。
-
不是日志记录、监视或警报的解决方案。 它集成了一些功能作为概念证明,并提供了收集和导出指标的机制。
-
不提供也不要求配置用的语言、系统(例如 jsonnet),它提供了声明性 API, 该声明性 API 可以由任意形式的声明性规范所构成。
-
不提供也不采用任何全面的机器配置、维护、管理或自我修复系统。
-
此外,Kubernetes 不仅仅是一个编排系统,实际上它消除了编排的需要。 编排的技术定义是执行已定义的工作流程:首先执行 A,然后执行 B,再执行 C。 而 Kubernetes 包含了一组独立可组合的控制过程,可以持续地将当前状态驱动到所提供的预期状态。 你不需要在乎如何从 A 移动到 C,也不需要集中控制,这使得系统更易于使用且功能更强大、 系统更健壮,更为弹性和可扩展。
本章节的大部分内容摘取自官网,因为在概念性问题上,官网是最权威的来源。尽管官网的语言较为晦涩难懂,但它提供了最准确和详尽的信息。接下来的第二章节将从宏观的角度介绍 Kubernetes 的架构及其包含的组件。
第二章 Kubernets 架构与组件
-
集群架构
-
核心组件
-
环境搭建
1 集群架构
Kubernetes 集群由两类节点组成:控制平面节点(Master Node)和工作平面节点(Worker Node)。工作节点负责托管 Pod,而 Pod 则是应用负载的基本单元。控制平面管理集群中的工作节点和 Pod。在生产环境中,控制平面通常跨多台计算机运行,一个集群通常包含多个节点,以提供容错性和高可用性。
2 核心组件
2.1 控制平面组件(Control Plane Components)
-
kube-apiserver
在 Kubernetes 集群中,kube-apiserver 是控制平面的核心组件之一,负责处理所有 API 请求和集群管理。以下是其主要功能:
API 网关:处理所有 RESTful API 请求,进行验证和授权。
状态管理:连接到 etcd,存储和检索集群状态信息。
请求处理:验证和处理 API 请求,确保符合 Kubernetes 规范。
调度与分配:根据策略将 Pod 调度到合适的工作节点。
监控与指标:提供集群状态和性能指标,帮助监控和优化集群。
在生产环境中,kube-apiserver 通常跨多台计算机运行,以实现高可用性和负载均衡,确保即使某个节点故障,集群仍能正常运行。
-
etcd
etcd 是一致且高可用的键值存储,负责存储和管理集群的配置信息和状态数据。它通过分布式一致性、高可用性和强大的配置管理功能,确保 Kubernetes 集群的稳定运行和高效管理。
-
kube-scheduler
kube-scheduler 是 Kubernetes 集群中的关键组件,负责将 Pod 调度到合适的工作节点上。它通过实时监控资源、应用调度策略和算法、确保负载均衡和资源高效利用,从而保证集群的稳定运行和高效管理。具体功能:
调度算法:使用一系列调度算法和策略,如节点亲和性、污点和容忍、资源请求和限制等,确定最佳调度位置。
负载均衡:确保集群中的工作负载均衡,防止某些节点过载而其他节点空闲。
多调度器支持:支持用户定义和配置自定义调度器,以满足不同应用的特定需求。
-
kube-controller-manager
负责运行集群内的各种控制器。这些控制器通过监视 Kubernetes API 服务器的状态,确保集群的实际状态与期望状态一致。每个控制器负责不同的任务,如节点管理、Pod 副本数维护、集群自动扩展等。这些控制器包括:
节点控制器(Node Controller):负责在节点出现故障时进行通知和响应
任务控制器(Job Controller):监测代表一次性任务的 Job 对象,然后创建 Pod 来运行这些任务直至完成
端点分片控制器(EndpointSlice controller):填充端点分片(EndpointSlice)对象(以提供 Service 和 Pod 之间的链接)。
服务账号控制器(ServiceAccount controller):为新的命名空间创建默认的服务账号(ServiceAccount)。
-
cloud-controller-manager(可选)
一个 Kubernetes 控制平面组件, 嵌入了特定于云平台的控制逻辑。 云控制器管理器(Cloud Controller Manager)允许你将你的集群连接到云提供商的 API 之上, 并将与该云平台交互的组件同与你的集群交互的组件分离开来。cloud-controller-manager 仅运行特定于云平台的控制器。 因此如果你在自己的环境中运行 Kubernetes,或者在本地计算机中运行学习环境, 所部署的集群不需要有云控制器管理器。
2.2 Node 组件
节点组件会在每个节点上运行,负责维护运行的 Pod 并提供 Kubernetes 运行环境。
-
kubelet
kubelet 会在集群中每个节点(node)上运行。 它保证容器(containers)都运行在 Pod 中。
kubelet接收一组通过各类机制提供给它的 PodSpec,确保这些 PodSpec 中描述的容器处于运行状态且健康。 kubelet 不会管理不是由 Kubernetes 创建的容器。
-
kube-proxy
kube-proxy是集群中每个节点(node)上所运行的网络代理, 实现 Kubernetes 服务(Service)概念的一部分。
kube-proxy 维护节点上的一些网络规则, 这些网络规则会允许从集群内部或外部的网络会话与 Pod 进行网络通信。
如果操作系统提供了可用的数据包过滤层,则 kube-proxy 会通过它来实现网络规则。 否则,kube-proxy 仅做流量转发。
-
容器运行时(Container Runtime)
这个基础组件使 Kubernetes 能够有效运行容器。 它负责管理 Kubernetes 环境中容器的执行和生命周期。
Kubernetes 支持许多容器运行环境,例如 containerd、 CRI-O,Docker 以及 Kubernetes CRI (容器运行环境接口) 的其他任何实现。
2.3 插件(Addons)
插件使用 Kubernetes 资源(DaemonSet、 Deployment等)实现集群功能。 因为这些插件提供集群级别的功能,插件中命名空间域的资源属于 kube-system命名空间。
-
DNS
尽管其他插件都并非严格意义上的必需组件,但几乎所有 Kubernetes 集群都应该有集群 DNS因为很多示例都需要 DNS 服务。
-
Web 界面(仪表盘)
Dashboard 是 Kubernetes 集群的通用的、基于 Web 的用户界面。 它使用户可以管理集群中运行的应用程序以及集群本身, 并进行故障排除。
-
容器资源监控
容器资源监控将关于容器的一些常见的时间序列度量值保存到一个集中的数据库中, 并提供浏览这些数据的界面。
-
集群层面日志
集群层面日志机制负责将容器的日志数据保存到一个集中的日志存储中, 这种集中日志存储提供搜索和浏览接口。
-
网络插件
网络插件 是实现容器网络接口(CNI)规范的软件组件。它们负责为 Pod 分配 IP 地址,并使这些 Pod 能在集群内部相互通信。
3 环境搭建
这里就先不介绍通过 VM 裸机安装 Kubernets 集群,这种方式配置麻烦,后续在专门写个搭建教程。仅用于学习的话用Docker Desktop 提供的minikube即可。minikube 是一个kubernets集群模拟器,只有一个节点的集群,master和worker都在一起。当然有条件的话也可以直接用云平台Kubernets。
在线免费的云平台,但是每日有时常限制
接下来第三章节将详细介绍Kubernetes 中创建和管理的、最小的可部署的计算单元Pod。