【云原生之K8s】 Kubernetes核心组件

---

前言

Kubernetes是为运行分布式集群而建立的，分布式系统的本质使得网络成为Kubernetes的核心和必要组成部分，了解Kubernetes网络模型可以使你能够正常运行、监控和排查应用程序故障

---

一、Kubernetes的核心组件

1.Master组件

1.1 kube-apiserver

• 用于暴露kubernetes API，任何资源请求或调用操作都是通过kube-apiserver提供的接口进行
• 以HTTP Restful API提供接口服务，所有对象资源的增删改查和监听操作都交给API server处理后再提交给Etcd存储
• 可以理解成API server是K8S的请求入口服务。API server负责接收K8S所有请求（来自UI界面或者CTL命令行工具），然后根据用户的具体请求，去通知其它组件干活。可以说API server是K8S集群架构的大脑

1.2 kube-controller-manager

运行管理控制，是K8S集群中处理常规任务的后台线程，是K8S集群里所有资源对象的自动化控制中心

在K8S集群中，一个资源对应一个控制器，而Controller manager就是负责管理这些控制器的。由一系列控制器组成，通过API Server监控整个集群的状态，并确保集群处于预期的工作状态，比如当某个node意外宕机时，Controller manager会及时发现并执行自动化修复流程，确保集群始终处于预期的工作状态

控制器	说明
Node Controller（节点控制器）	负责在节点出现故障时发现和响应
Replication Controller（副本控制器）	负责保证集群中一个RC（资源对象Replication Controller）所关联的Pod副本数始终保持预设值。可以理解成确保集群中有且仅有N个Pod实例，N是RC中定义的Pod副本数量
Endpoints Controller（端点控制器）	填充端点对象（即连接Services和Pods），负责监听Service和对应的Pod副本的变化。可以理解端点是一个服务暴露出来的访问点，如果需要访问一个服务暴露出来的访问点，如果需要访问一个服务，则必须知道它的endpoint
Service Account & Token Controllers（服务账户和令牌控制器）	为新的命名空间创建默认账户和API访问令牌
ResourceQuota Controller（资源配额控制器）	确保指定的资源对象在任何时候都不会超量占用系统物理资源
Namespace Controller（命名空间控制器）	管理namespace的声明周期
Service Controller（服务控制器）	属于K8S集群与外部的云平台之间的一个接口控制器

1.3 kube-scheduler

负责资源调度的进程，根据调度算法为新创建的Pod选择一个合适的node节点。可以理解成K8S所有node节点的调度器。当用于要部署服务时，Scheduler会根据调度算法选择最合适的node节点来部署Pod

• 预选策略（predicate）
• 优选策略（priorities）

1.4 配置存储中心–etcd

K8S的存储服务，负责存储K8S集群的重要信息。etcd是分布式键值存储系统，存储了K8S的关键配置和用户配置，K8S中仅API server才具备读写权限，其它组件必须通过API server的接口才能读写数据

1.5 主节点工作流程

API server接收到请求创建一批Pod，API server会让Controller-manager按照所预设的模板去创建Pod，contriller-manager会通过API server去找Scheduler为新创建的Pod选择最适合的node节点。比如运行这个Pod需要2C4G的资源，Scheduler会通过预选策略在所有的node节点中挑选最优的。node节点中还剩多少资源是通过汇报给API server存储在etcd里，API server会调用一个方法找到etcd里所有node节点的剩余资源，再对比Pod所需要的资源，在所有node节点中查找哪些node节点符合要求。如果都符合，预选策略就交给优选策略处理，优选策略再通过CPU的负载、内存的剩余量等因素选择最合适的node节点，并把Pod调度到这个node节点上运行

2.Node组件

2.1 kubelet

Node节点的监视器，以及与Master节点的通讯器。Kubelet是Master节点安插在Node节点上的"眼线"，它会定时向API server汇报自己Node节点上运行的服务状态，并接收来自Master节点的指示采取调整措施

从Master节点获取自己节点上Pod的期望状态（比如运行什么容器、运行的副本数量、网络或者存储如何配置等），直接跟容器引擎交互实现容器的生命周期管理，如果自己节点上Pod的状态与期望状态不一致，则调用对应的容器平台接口（即docker的接口）达到这个状态。管理镜像和容器的清理工作，保证节点上镜像不会占满磁盘空间，退出的容器不会占用太多资源

2.2 kube-proxy

• 在每个Node节点上实现Pod网络代理，是Kubernetes service资源的载体，负责维护网络规划和四层负载均衡工作。负责写入规则至iptables、ipvs实现服务映射访问的
• Kube-proxy本身不是直接给Pod提供网络，Pod的网络是由Kubelet提供的，Kube-proxy实际上维护的是虚拟的Pod集群网络
• Kube-apiserver通过监控Kube-proxy进行对Kubernetes service的更新和端点的维护
• Kube-proxy是K8S集群内部的负载均衡器。它是一个分布式代理服务器，在K8S的每个节点上都会运行一个Kube-proxy

2.3docker或rocket

容器引擎，运行容器，负责本机的容器创建和管理工作

Kubelet负责整个过程的管理，容器引擎是用来干活的

二、Kubernetes核心概念

• Kubernetes包含多种类型的资源对象：Pod、Label、Service、Replication Controller等
• 所有资源对象都可以通过Kubernetes提供的kubectl工具进行增、删、改、查等操作，并将其保存在rtcd中持久化存储
• Kubernetes其实是一个高度自动化的资源控制系统，通过跟踪对比etcd存储里保存的资源期望状态与当前环境中的实际资源状态的差异，来实现自动控制和自动纠错等高级功能

1.Pod

• Pod是Kubernetes创建或部署的最小/最简单的基本单位，一个Pod代表集群上正在运行的一个进程
• 可以把Pod理解成豌豆荚，而同一个Pod内的每个容器是一个个豌豆
• 一个Pod由一个或多个容器组成，Pod中容器共享网络、存储和计算资源，在同一台Docker主机上运行
• 一个Pod里可以运行多个容器，又叫边车（SideCar）模式。而在生产环境中一般都是单个容器或者具有强关联互补的多个容器组成一个Pod
• 同一个Pod之间的容器可以通过localhost互相访问，并且可以挂载Pod内的所有的数据卷；但是不同的Pod之间的容器不能泳localhost访问，也不能挂载其它Pod的数据卷

2.Pod控制器

Pod控制器是Pod启动的一种模板，用来保证在K8S里启动的Pod应始终按照用户的预期运行（副本数、生命周期、健康状态检查等）。K8S内提供了众多的Pod控制器，常用的有以下几种：

• Deployment：无状态应用部署。Deployment的作用就是管理和控制Pod和ReplicaSet，管控它们在运行在用户期望的状态中
• Replicaset：确保预期的Pod副本数量。Replicaset的作用就是管理和控制Pod，管控他们好好干活。但是Replicaset受控于Deployment。可以理解成Deployment就是总包工头，主要负责监督底下的工人 Pod干活，确保每时每刻有用户要求数量的 Pod 在工作。如果一旦发现某个工人 Pod 不行了，就赶紧新拉一个 Pod 过来替换它。而ReplicaSet 就是总包工头手下的小包工头。从 K8S 使用者角度来看，用户会直接操作 Deployment 部署服务，而当Deployment 被部署的时候，K8S 会自动生成要求的 ReplicaSet 和 Pod。用户只需要关心 Deployment而不操心 ReplicaSet。资源对象 Replication Controller 是 ReplicaSet 的前身，官方推荐用Deployment 取代 Replication Controller 来部署服务。
• Daemonset：确保所有节点运行同一类Pod，保证每个节点上都有一个此Pod运行，通常用于实现系统级后台任务
• Statefulset：有状态应用部署
• Job：一次性任务。根据用户的设置，Job管理的Pod把任务成功完成就自动退出了
• Cronjob：周期性计划性任务
• Ingress：管理L7层的网络模式（http/https 流量）
  • Ingress包含：nginx、haproxy、traffic、istio、kong
• PV/PVC：动态存储。NFS接入到K8S时，不能直接挂载，要利用pv/pvc来管理，共享存储也是资源，由pv/pvc来管理，共享存储也是资源，由pv/pvc来管理。比如10G不够了，扩容由pv/pvc来进行动态扩容处理

2.1 Deployment–无状态应用部署

Nginx这种类型的服务，只开启反向代理的功能的时候，假设nginx宕了，重新跑一个新的，替换过来，可以直接用。没有差异化成为无状态

无状态服务：LVS（加入集群后，无特殊性需求）

• 服务不依赖自身的状态，实例的状态数据可以维护在内存中
• 任何一个请求都可以被任意一个实例处理
• 不存储状态数据，实例可以水平扩展，通过负载均衡将请求分发到各个节点
• 在一个封闭的系统中，只存在一个数据闭环
• 通常在于单体架构集群中

2.2 Statefulset–有状态应用部署

里面运行的是MySQL，MySQL宕了，配置一样，不能直接用，数据有差异性，加入集群后满足特定规则，存储数据的规则，才能使用，有差异化称为有状态

有状态服务：例如数据库
由特殊状态需求，例如需要持久化，需要特定的数据支持

• 服务本身依赖或者存在局部的状态数据，这些数据需要自身持久化或者通过其它节点恢复
• 一个请求只能被某个节点（或者同等状态下的节点）处理
• 存储状态数据，实例的拓展需要整个系统参与状态的迁移
• 在一个封闭的系统中，存在多个数据闭环，需要考虑这些闭环的数据一致性问题
• 通常存在于分布式架构中

2.3 小结

无状态服务：就是没有特殊状态的服务，各个请求对于服务器来说同一无差别处理，请求自身携带了所有服务端所需要的所有参数（服务端自身不存储跟请求相关的任何数据，不包括数据库存储信息）

有状态服务：与之相反，有状态服务在服务端保留之前请求的信息，用以处理当前请求，比如session等

简化

有状态：需要持久化，多次请求之间需要共享一些信息
无状态：一次性，不需要持久化的特殊状态，每次请求都是一条新的数据

对于docker来说，更适合应用无状态服务，而kubernetes，提供了一种解决方案----》多种存储类型
—》例如

configmap(配置管理中心)，主要存储配置文件
PS:configmap是一个独立的资源，类似于docker run -itd -v /nginx conf:/usr/nginx/conf nginx:1.21 /bin/bash

把nginx.conf---->写成一个nginx-confimap.yaml文件
把nginx---->pod nginx.yaml ,通过相同的标签：label=nginx来关联

Secret:用户密码、需要加密的文件
mysql-secrets.yml加密形式的配置文件（账号密码）和mysql.yaml通过标签关联在一起
volume：基本数据（网页文件），docker run -itd -v /nginx_html:/usr/local/nginx/html/ nginx:1.21 /bin/bash

PV/PVC:动态创建过程

3.Label标签

• 标签，是K8S特色的管理方式，便于分类管理资源对象。Label可以附加到各种资源对象上，例如Node、Pod、Service、RC等，用于关联对象、查询和筛选
• 一个Label是一个key-value的键值对，其中key与value由用户自己指定
• 一个资源对象可以定义任意数量的Label，同一个Label也可以被添加到任意数量的资源对象中，也可以在对象创建后总台添加或者删除
• 可以通过给指定的资源对象捆绑一个或多个不同的Label，来实现多维度的资源分组管理功能
• 与Label类似的，还有Annotation（注释）。区别在于有效的标签必须为63个字符或更少，并且必须为空或以字母数字字符（[a-z0-9A-Z]）开头和结尾，中间可以包含横杠（-）、下划线（_）、点（.）和字母或数字。注释值则没有字符长度限制

4.Label选择器（Label selector）

• 给某个资源对象定义一个Label，就相当于给它打了一个标签
• 随后可以通过标签选择器（Label selector）查询和筛选拥有某些Label的资源对象

标签选择器目前有两种：

• 基于等值关系（等于、不等于）
• 基于集合关系（属于、不属于、存在）

5.Service

在K8S集群里，虽然每个Pod会被分配一个单独的IP地址，但由于Pod是有生命周期的（它们可以被创建，而且销毁之后不会再启动后），随时可能会因为业务的变更，导致这个IP地址会随着Pod的销毁而消失。Service就是用来解决这个问题的核心概念

K8S中的service并不是我们常说的"服务"的含义，而更像是网关层，可以看做一组提供相同服务的Pod的对外访问的接口、流量均衡器

Service作用与哪些Pod是通过标签选择器来定义的
在K8S集群中，Service可以看做一组提供相同服务的Pod的对外访问接口。客户端需要访问的服务就是Service对象。每个Service都有一个固定的虚拟IP（这个IP也被称为Cluster IP），自动并且动态地绑定后端的Pod，所有的网络请求直接访问Service的虚拟IP，Service会自动向后端做转发
Service除了提供稳定的对外访问方式之外，还能起到负载均衡（Load Balance）的功能，自动把请求流量分布到后端所有的服务上，Service可以做到对客户透明地进行水平扩展（scale）。而实现service这一功能的关键，就是kube-proxy。kube-proxy运行在每个节点上，监听API server中服务对象的变化，可通过以下三种流量调度模式：userspace（废弃）、iptables（濒临废弃）、ipvs（推荐，性能最好）来实现网络的转发

Service是K8S服务的核心，屏蔽了服务细节，同一对外暴露服务接口，真正做到了"微服务"
比如我们的一个服务 A，部署了 3 个副本，也就是 3 个 Pod；对于用户来说，只需要关注一个 Service 的入口就可以，而不需要操心究竟也应该请求哪一个 Pod。优势非常明显：一方面外部用户不需要感知因为 Pod 上服务的意外崩溃、K8S 重新拉起 Pod 而造成的 IP 变更，外部用户也不需要感知因升级、变更服务带来的 Pod 替换而造成的 IP 变化。。

创建service需要Service Controller，Endpoint Controller，kube-proxy三个模块同时协作

• Service Controller是控制service来创建对应Pod关联的规则
• Endpoint Controller是定义后端Pod的具体位置，也就是endpoint（upstream+consul的自动发现和更新）
• kube-proxy是用来定义具体的后端转发和分流规则的

以上组成了一个service所必要的功能

5.1 ServiceController

当一个service对象状态发生变化的时候，informer都会通知ServiceController，创建对应的服务

5.2 Endpointcontroller

Endpointcontroller会同时订阅service和pod的增删事件
Endpointcontroller看成是nginx的upstream+consul中的发现、更新

其功能如下

• 负责生成和维护所有endpoint对象的控制器
• 负责监听service和对应pod变化
• 监听到service被删除，则删除和该service同名的endpoint对象
• 监听到新的service被创建，则根据新建service信息（YAML）获取相关pod列表，然后创建对应endpoint对象
• 监听到service被更新，则根据更新后的service信息获取相关pod列表，然后更新对应的endpoint对象
• 监听到pod事件，则更新对应的service和endpoint对象，将pod IP记录到endpoint中

5.3 kube-proxy

• kube-proxy负责service实现，实现了K8S内部service和外部node port到service的访问
• kube-proxy采用iptables的方式配置负载均衡，基于iptables的kube-proxy的主要职责包括两大块：一块是倾听service更新事件，并更新service相关的service相关的iptables规则，一块是侦听endpoint更新事件，更新endpoint相关的iptables规则（如kube-svc链中的规则），然后将包请求转入endpoint对应的pod

6.Ingress

Service主要负责K8S集群内部的网络拓扑，那么集群外部怎么访问集群内部呢？这个时候就需要Ingress了。Ingress是整个K8S集群的接入层，负责集群内外通讯

• Ingress 是 K8S 集群里工作在 OSI 网络参考模型下，第 7 层的应用层，对外暴露的接口，典型的访问方式是http/https
• Service 只能进行第四层的流量调度，表现形式是 ip+port。Ingress 则可以调度不同业务域、不同 URL访问路径的业务流量。 比如：客户端请求 http://www.test.com:port --> Ingress --> Service --> Pod

7.name

• 由于 K8S 内部，使用 “资源” 来定义每一种逻辑概念（功能），所以每种 “资源”，都应该有自己的 “名称”。
• “资源” 有 api版本（apiversion）、类别（kind）、元数据（metadata）、定义清单（spec）、状态（status）等配置信息。
• “名称” 通常定义在 “资源” 的 “元数据” 信息里。在同一个 namespace 空间中必须是唯一的。

8.Namespace

• 随着项目增多、人员增加、集群规模的扩大，需要一种能够逻辑上隔离K8S内各种"资源"的方法，这就是Namespace
• Namespace 是为了把一个 K8S 集群划分为若干个资源不可共享的虚拟集群组而诞生的。
• 不同 Namespace 内的 “资源” 名称可以相同，相同 Namespace 内的各种 “资源”，“名称” 不能相同。
• 合理的使用 K8S 的 Namespace，可以使得集群管理员能够更好的对交付到 K8S 里的服务进行分类管理和浏览。
• K8S 里默认存在的 Namespace 有：==default、kube-system、kube-public ==等。
• 查询 K8S 里特定 “资源” 要带上相应的 Namespace

---

总结

无状态服务：就是没有特殊状态的服务，各个请求对于服务器来说统一无差别处理，请求自身携带了所有服务端所需要的所有参数（服务端自身不存储跟请求相关的任何数据，不包括数据库存储信息）。
有状态服务：与之相反，有状态服务在服务端保留之前请求的信息，用以处理当前请求，比如session等

简单版
有状态：需要持久化，多次请求之间需要共享一些信息
无状态：一次性，不需要持久化的特殊状态，每次请求都是一条新的数据