【云原生】初识Kubernetes的理论基础

一、kubernetes概述

1.1 kubernetes介绍

K8S的全称为Kubernetes (K12345678S)，首字母与尾字母中间有8个字母，缩写为K8S

• 作用

  • 用于自动部署、扩展和管理“容器化(containerized) 应用程序”的开源系统。
  • 可以理解成K8S是负责自动化运维管理多个容器化程序(比如Docker)的集群，是一个生态极其丰富的容器编排框架工具。

• 由来

  • K8S由google的Borg系统(博格系统，google内 部使用的大规模容器编排工具)作为原型，后经G0语言延用Borg的思路重写并捐献给CNCF基金会开源。
  • 云原生基金会(CNCE) 于2015年12月 成立，隶属于Linux基金会。CNCF孵 化的第一个项目就是Kubernetes，随着容器的广泛使用，Kubernetes 已经成为容器编排工具的事实标准

• 含义

  • 词根源于希腊语的舵手、飞行员

• 官网

  • kubernetes.io

• GitHub

  • github.com/kubernetes/…

1.2 为什么要使用K8S？

• 我们试想下传统的后端部署办法:把程序包( 包括可执行二进制文件、配置文件等)放到服务器上，接着运行启动脚本把程序跑起来，同时启动守护脚本定期检查程序运行状态、必要的话重新拉起程序。
• 设想一下，如果服务的请求量上来，已部署的服务响应不过来怎么办？传统的做法往往是，如果请求量、内存、CPU超过阈值做了告警，运维人员马上再加几台服务器，部署好服务之后，接入负载均衡来分担已有服务的压力。
• 这样问题就出现了：从监控告警到部署服务，中间需要人力介入。那么，有没有办法自动完成服务的部署、更新、卸载和扩容、缩容呢？而这就是K8S 要做的事情:自动化运维管理容器化(Docker) 程序。
• K8S是Google开源的容器集群管理系统，在Docker等容器技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的便捷性。

1.3 K8S的主要功能

• 跨主机编排容器。
• 更充分地利用硬件资源来最大化地满足企业应用的需求。
• 控制与自动化应用的部署与升级。
• 为有状态的应用程序挂载和添加存储器。
• 线上扩展或缩减容器化应用程序与它们的资源。
• 声明式的容器管理,保证所部署的应用按照我们部署的方式运作。
• 通过自动布局、自动重启、自动复制、自动伸缩实现应用的状态检查与自我修复。
• 为多个容器提供服务发现和负载均衡，使得用户无需考虑容器IP问题。

1.4 补充：有状态服务和无状态服务的区别

• 有状态服务：

  • 有实时的数据需要存储
  • 集群服务中，把某一台服务器抽离出去，过一段时间再加入到集群中，如果服务集群无法正常工作，相互之间需要进行数据的同步

• 无状态服务：

  • 没有实时的数据需要存储
  • 集群服务中，把某一台服务器抽离出去，过一段时间再加入到集群中，服务集群仍然还是正常工作，相互之间不需要进行数据同步，不会因为数据的不同步导致服务器无法正常工作

二、Kubernetes集群架构

2.1 Kubernetes集群的架构与组件

• K8S是属于主从设备模型(Master-Slave 架构)，即有Master 节点负责集群的调度、管理和运维，Slave 节点是集群中的运算工作负载节点。
• 在K8S中，主节点一般被称为Master节点，而从节点则被称为Worker Node亚节点，每个Node都会被Master分配一些工作负载。
• Master组件可以在群集中的任何计算机上运行，但建议Master节点占据一个独立的服务器。因为Master是整个集群的大脑，如果Master所在节点宕机或不可用，那么所有的控制命令都将失效。除了Master, 在K8S 集群中的其他机器被称为Worker Node节点，当某个Node 宕机时，其上的工作负载会被Master自动转移到其他节点上去。

2.2 Kubernetes中Master组件

① Kube-apiserver

• 用于暴露KubernetesAPI，任何资源请求或调用操作都是通过kube-apiserver提供的接口进行。以HTTPRestfulAPI提供接口服务，所有对象资源的增删改查和监听操作都交给API Server 处理后再提交给Etcd 存储（可以理解为K8S的数据库）。
• 可以理解成API Server. 是K8S的请求入口服务。API Server 负责接收K8S所有请求，(来自UI 界面或者CLI命令行工具)，然后根据用户的具体请求，去通知其他组件干活。可以说API Server 是K8S集群架构的大脑。

② Kube-controller-manager

• 运行管理控制器，是K8S集群中处理常规任务的后台线程，是K8S 集群里所有资源对象的自动化控制中心。
• 在K8S 集群中，一个资源对应一-个控制器，Controller manager就是负责管理这些控制器的。
• Controller manager由一系列控制器组成，通过API server 监控整个集群的状态，并确保集群处于预期的工作状态，比如当某个Node 意外宕机时，Controller Manager会及时发现并执行自动化修复流程，确保集群始终处于预期的工作状态。

Kube-controller-manager 的控制器

• Kube-controller-manager 的控制器主要包括:

  • Node Controller(节点控制器):负责在节点出现故障时发现和响应。
  • Replication Controller (副本控制器) ：负责保证集群中一个RC (资源对象Replication Controller) 所关联的Pod（类似于容器载体）副本数始终保持预设值。可以理解成确保集群中有且仅有N个Pod实例，N是RC中定义的Pod副本数量。
  • Endpoints Controller (端点控制器) ：填充端点对象(即连接Services 和Pods) ，负责监听Service 和对应的Pod 副本的变化可以理解端点是一个服务暴露出来的访问点，如果需要访问一个服务，则必须知道它的endpoint。
  • Service Account & Token Controllers (服务帐户和令牌控制器) ：为新的命名空间创建默认帐户和API 访问令牌。
  • ResourceQuota Controller(资源配额控制器)：确保指定的资源对象在任何时候都不会超量占用系统物理资源。
  • Namespace Controller (命名空间控制器) ：管理namespace的生命周期。
  • Service Controller (服务控制器) ：属于K8S集群与外部的云平台之间的一个接口控制器。

③ Kube-scereduler

• 是负责资源调度的进程，根据调度算法为新创建的Pod选择一个合适的Node节点。

• 可以理解成K8S 所有Node节点的调度器。当用户要部署服务时，Scheduler 会根据调度算法选择最合适的Node节点来部署Pod.

  • 预选策略(predicate)
  • 优选策略(priorities)

API Server 接收到请求创建一批Pod ，API Server 会让Controller-manager 按照所预设的模板去创建Pod， Controller-manager. 会通过API Server 去找Scheduler.为新创建的Pod 选择最适合的Node节点。比如运行这个Pod需要2C4G（内核2核，内存4G）的资源，Scheduler. 会通过预选策略过滤掉不满足策略的Node节点。Node节点中还剩多少资源是通过汇报给API Server存储在etcd 里，API Server 会调用一个方法找到etcd里所有Node 节点的剩余资源，再对比Pod所需要的资源，如果某个Node.节点的资源不足或者不满足预选策略的条件则无法通过预选。预选阶段筛选出的节点，在优选阶段会根据优先策略为通过预选的Node节点进行打分排名， 选择得分最高的Node。 例如，资源越富裕、负载越小的Node 可能具有越高的排名。

④ etcd

K8S_ 的存储服务。eted 是分布式键值存储系统，存储了K8S的关键配置和用户配置，K8S中仅apiserver 才具备读写权限，其他组件必须通过API Server的接口才能读写数据。

2.3 Kubernetes中Node组件

① Kubelet

• Node节点的监视器，以及与Master节点的通讯器。Kubelet 是Master 节点安插在Node节点上的“眼线”，它会定时向API Server汇报自己Node 节点上运行的服务的状态，并接受来自Master节点的指示采取调整措施。
• 从Master 节点获取自己节点上Pod的期望状态(比如运行什么容器、运行的副本数量、网络或者存储如何配置等)，直接跟容器引擎交互实现容器的生命周期管理，如果自己节点上Pod 的状态与期望状态不一致， 则调用对应的容器平台接口(即docker 的接口)达到这 个状态。
• 管理镜像和容器的清理工作，保证节点上镜像不会占满磁盘空间，退出的容器不会占用太多资源。

总结：

• 在 Kubernetes 集群中，在每个 Node（又称 Worker Node）上都会启动一个 kubelet 服务进程。该进程用于处理 Master 下发到本节点的任务，管理 Pod 及 Pod 中的容器。每个 kubelet 进程都会在 API Server 上注册节点自身的信息，定期向 Master 汇报节点资源的使用情况，并通过 cAdvisor 监控容器和节点资源。

② Kube-Proxy

• 在每个Node节点上实现Pod网络代理，是Kubernetes Servipe 资源的载体，负责维护网络规则和四层负载均衡工作。
• 负责写入规则至iptables、ipvs实现服务映射访问的。

2.4 总结：K8S有什么组件？

• K8S有master和work node两种节点
• master节点上有apiserver、controller-manager 、scheduler 以及使用etcd做K8S集群存储
• node节点上有kubelet和kube-proxy以及容器引擎（如docker）

2.5 总结：K8S的组件有什么功能？

• apiserver是所有服务请求的访问入口
• controller-manager是负责为pod副本集，命名空间、端点等资源对象以及部署提供控制器
• scheduler负责pod资源的调度，通过调度算法（预选策略、优选策略）为部署的pod选择最适合的节点
• etcd是K8S集群数据库，键值对存储结构的分布式数据库，存储K8S所有重要信息，只有apiserver有读写权限
• kubelet用于创建和管理pod中的容器，跟容器引擎交互实现容器的生命周期管理，收集节点的资源信息汇报给master节点上的apiserver
• kube-proxy作为service资源的载体，实现POD网络代理，维护网络规则和四层负责均衡工作
• 容器引擎：负责运行容器

2.6 K8S的工作流程(粗略过程，并不详细)

• 首先用户通过客户端发送创建Pod的请求发送到master节点上的apiserver
• apiserver先把用户的请求信息进行存储，存储到etcd中，然后找controller-manager，根据预设的资源模板创建pod清单
• cotroller-manager会通过apiserver，寻找scheduler为新创建的pod选择最适合的节点
• scheduler会通过预选策略与优选策略筛选出最适合的Node节点，再通过apiserver找到对应的node节点上的kubelet
• kubelet去创建并管理pod
• kubelet会直接跟容器引擎进行交互，来管理容器的生命周期
• 用户通过创建承载在kube-proxy上的service资源，写入相关的网络规则，实现对pod的服务发现与负载均衡

三、Kubernetes核心概念（资源对象）

3.1 Kubernetes的资源对象

• Kubernetes包含多种类型的资源对象: Pod（容器）、 Label（标签）、 Service（服务资源，并非具化的服务）、 Replication Controller 等。
• 所有的资源对象都可以通过Kubernetes提供的kubectl根据进行增、删、改、查等操作，并将保存在etcd中持久化存储。
• Kubernets其实是一个高度自动化的资源控制系统，通过跟踪对比etcd存储里保存的资源期望状态与当前环境中的实际资源状态的差异，来实现自动控制和自动纠错等高级功能。

3.2 Pod

① Pod的概念

• Pod是Kubernetes创建或部署的最小/最简单的基本单位，一个Pod代表集群上正在运行的一个进程。
• 可以把Pod理解成豌豆荚，而同一Pod内的每个容器是一颗颗豌豆。
• 一个Pod由一个或多个容器组成，Pod 中容器共享网络、存储和计算资源，在同一台Docker 主机上运行。
• 一个Pod 里可以运行多个容器，又叫边车模式(sideCar) 。而在生产环境中一般都是单个容器或者具有强关联互补的多个容器组成一个Pod。
• 同一个Pod之间的容器可以通过localhost 互相访问，并且可以挂载Pod内所有的数据卷:但是不同的Pod之间的容器不能用localhost 访问，也不能挂载其他Pod的数据卷。（Pod与Pod之间使用PodIP进行通信）

② Pod控制器

Pod控制器是Pod 启动的一种模版，用来保证在K8S里启动的Pod 应始终按照用户的预期运行(副本数、生命周期、健康状态检查等)。

K8S内提供了众多的Pod控制器，常用的有以下几种:

• Deployment:无状态应用部署。Deployment 的作用是管理和控制Pod 和ReplicaSet， 管控它们运行在用户期望的状态中。

  • Replica Set:确保预期的Pod副本数量。Replica Set 的作用就是管理和控制Pod，管控他们好好干活。但是，Replica Set 受控于Deployment。

可以理解成Deployment 就是总包工头，主要负责监督底下的工人Pod干活，确保每时每刻有用户要求数量的Pod在工作。如果一 旦发现某个工人Pod不行了，就赶紧新拉一个新的Pod过来替换它。而ReplicaSet. 就是总包工头手下的小包工头

从K8S使用者角度来看，用户会直接操作Deployment 部署服务，而当Deployment 被部署的时候，K8S 会自动生成要求的Replicaset 和Pod。用户只需要关心Deployment而不操心ReplicaSet.

资源对象Replication Controller（RC） 是Replica Set（RS） 的前身，官方推荐用Deployment 取代Replication Controller 来部署服务。

• Daemonset: 确保所有节点运行同一类Pod, 保证每个节点上都有一个此类型的Pod运行，通常用于实现系统级后台任务。
• statefulset:有状态应用部署
• Job: 一次性任务。根据用户的设置，Job管理的Pod把任务成功完成就自动退出了。
• Cronjob:周期性计划性任务

③ Pod控制器总结

• deployment:部署无状态应用。同时也管理replicaset ( 维持pod副本期望数目)和pod (k8s创建的最小单元，一个 容器化的应用进程)
• statefulset:部署有状态应用
• daemonset:在所有的node节点上部署同一种pod
• job: 部署次性任务的pod，pod执行完任务就会自动退出，只部署一次
• cronjob:周期性的部署次性任务的pod

3.3 Label

① Label的介绍

• Label即标签，是 K8S 特色的管理方式，便于分类管理资源对象。

• Label 可以附加到各种资源对象上，例如 Node、Pod、Service、RC 等，用于关联对象、查询和筛选。

• 一个 Label 是一个 key-value 的键值对，其中 key 与 value 由用户自己指定。

• 一个资源对象可以定义任意数量的Label，同一个Label 也可以被添加到任意数量的资源对象中，也可以在对象创建后动态添加或者删除。

• 可以通过给指定的资源对象捆绑一个或多个不同的 Label，来实现多维度的资源分组管理功能。

• 与 Label 类似的，还有 Annotation（注释）。

  • 区别在于有效的标签值必须为63个字符或更少，并且必须为空或以字母数字字符（[a-z0-9A-Z]）开头和结尾，中间可以包含横杠（-）、下划线（_）、点（.）和字母或数字。注释值则没有字符长度限制。

② Label 选择器（Label selector 即标签选择器）

• 给某个资源对象定义一个 Label，就相当于给它打了一个标签；随后可以通过标签选择器（Label selector）查询和筛选拥有某些 Label 的资源对象。
• 标签选择器目前有两种：基于等值关系（等于、不等于）和基于集合关系（属于、不属于、存在）。

3.4 Service

① Service介绍

• 在K8S的集群里，虽然每个Pod会被分配一个单独的IP地址，但由于Pod是有生命周期的（它们可以被创建，而且销毁之后不会再启动），随时可能会因为业务的变更，导致这个 IP 地址也会随着 Pod 的销毁而消失。Service 就是用来解决这个问题的核心概念。
• K8S 中的 Service 并不是我们常说的“服务”的含义，而更像是网关层，可以看作一组提供相同服务的Pod的对外访问接口、流量均衡器。
• Service作用于哪些Pod是通过标签选择器来定义的（不受Pod的销毁和重新创建导致Pod的IP不一致影响）
• 在 K8S 集群中，Service 可以看作一组提供相同服务的 Pod 的对外访问接口。客户端需要访问的服务就是 Service 对象。每个 Service 都有一个固定的虚拟 ip（这个 ip 也被称为 Cluster IP），自动并且动态地绑定后端的 Pod，所有的网络请求直接访问 Service 的虚拟 ip，Service 会自动向后端做转发。
• Service 除了提供稳定的对外访问方式之外，还能起到负载均衡（Load Balance）的功能，自动把请求流量分布到后端所有的服务上，Service 可以做到对客户透明地进行水平扩展（scale）。
• 而实现 service 这一功能的关键，就是 kube-proxy。kube-proxy 运行在每个节点上，监听 API Server 中服务对象的变化， 可通过以下三种流量调度模式： userspace（废弃）、iptables（濒临废弃）、ipvs（推荐，性能最好）来实现网络的转发。
• Service 是 K8S 服务的核心，屏蔽了服务细节，统一对外暴露服务接口，真正做到了“微服务”。比如我们的一个服务 A，部署了 3 个副本，也就是 3 个 Pod； 对于用户来说，只需要关注一个 Service 的入口就可以，而不需要操心究竟应该请求哪一个 Pod。 优势非常明显：一方面外部用户不需要感知因为 Pod 上服务的意外崩溃、K8S 重新拉起 Pod 而造成的 IP 变更， 外部用户也不需要感知因升级、变更服务带来的 Pod 替换而造成的 IP 变化。

② 总结

3.5 Ingress

① Ingress介绍

• Service 主要负责 K8S 集群内部的网络拓扑，那么集群外部怎么访问集群内部呢？这个时候就需要 Ingress 了。Ingress 是整个 K8S 集群的接入层，负责集群内外通讯。
• Ingress 是 K8S 集群里工作在 OSI 网络参考模型下，第7层的应用，对外暴露的接口，典型的访问方式是 http/https。
• Service 只能进行第四层的流量调度，表现形式是 ip+port。Ingress 则可以调度不同业务域、不同URL访问路径的业务流量。（比如：客户端请求 www.accp.com:port ---> Ingress ---> Service ---> Pod）

② Ingress总结

3.6 Name

• 由于 K8S 内部，使用 “资源” 来定义每一种逻辑概念（功能），所以每种 “资源”，都应该有自己的 “名称”。
• “资源” 有 api 版本（apiversion）、类别（kind）、元数据（metadata）、定义清单（spec）、状态（status）等配置信息。
• “名称” 通常定义在 “资源” 的 “元数据” 信息里。在同一个 namespace 空间中必须是唯一的。

3.7 Namespace

• 随着项目增多、人员增加、集群规模的扩大，需要一种能够逻辑上隔离 K8S 内各种 “资源” 的方法，这就是 Namespace。
• Namespace 是为了把一个 K8S 集群划分为若干个资源不可共享的虚拟集群组而诞生的。
• 不同 Namespace 内的 “资源” 名称可以相同，相同 Namespace 内的同种 “资源”，“名称” 不能相同。
• 合理的使用 K8S 的 Namespace，可以使得集群管理员能够更好的对交付到 K8S 里的服务进行分类管理和浏览。
• K8S 里默认存在的 Namespace 有：default（默认命名空间）、kube-system、kube-public 等。
• 查询 K8S 里特定 “资源” 要带上相应的 Namespace。