洞悉 Kubernetes 高阶奥秘：掌控资源、网络、存储，玩转容器化应用！

最新推荐文章于 2024-05-06 13:09:30 发布
最新推荐文章于 2024-05-06 13:09:30 发布
阅读量743 收藏 19
点赞数 18
分类专栏： Kubernetes 文章标签： kubernetes 容器 云原生
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013533380/article/details/136592389
版权

昨天我们已经入门了K8S，今天带大家学习一下资源、网络、存储这几个进阶的知识点模块内容。这几天陆陆续续会把K8S从头到尾讲一遍，最后会带大家实战一下，下面就开始今天的学习吧。

高级资源和控制器

Kubernetes 提供了一系列高级资源和控制器，用于满足更复杂的需求。本指南将深入探讨 StatefulSet、DaemonSet、Job 等高级资源的使用，以及自定义控制器的概念和创建，帮助您全面掌握 Kubernetes 的高级功能，并构建更强大的应用。

1. 高级资源详解

1.1 StatefulSet:

StatefulSet 用于部署和管理有状态应用，例如数据库、缓存等。它可以为每个 Pod 提供持久化存储，并保证 Pod 的顺序启动和终止。

示例:

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: my-db
spec:
  replicas: 3
  selector:
    matchLabels:
      app: my-db
  template:
    metadata:
      labels:
        app: my-db
    spec:
      containers:
      - name: my-db
        image: mysql:latest
        volumeMounts:
        - name: db-data
          mountPath: /var/lib/mysql
      volumes:
      - name: db-data
        persistentVolumeClaim:
          claimName: my-db-pvc

1.2 DaemonSet:

DaemonSet 确保每个 Node 上都运行一个 Pod。它常用于部署守护进程，例如日志收集、监控等。

示例:

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: my-logger
spec:
  selector:
    matchLabels:
      app: my-logger
  template:
    metadata:
      labels:
        app: my-logger
    spec:
      containers:
      - name: my-logger
        image: my-logger:latest
        volumeMounts:
        - name: log-data
          mountPath: /var/log
      volumes:
      - name: log-data
        emptyDir: {}

1.3 Job:

Job 用于运行一次性任务，例如批量处理、数据导入等。它完成后会自动清理所有 Pod。

示例:

apiVersion: batch/v1
kind: Job
metadata:
  name: my-job
spec:
  template:
    metadata:
      labels:
        app: my-job
    spec:
      containers:
      - name: my-job
        image: my-job:latest
        command: ["/bin/sh", "-c", "echo 'Hello, world!'"]

2. 自定义控制器：扩展 Kubernetes 功能

2.1 概念解析:

自定义控制器是一种扩展 Kubernetes 功能的机制。它可以监视自定义资源，并根据资源的状态执行相应的操作。

2.2 创建步骤:

  1. 定义自定义资源类型 (CRD)。

  2. 创建控制器代码。

  3. 部署控制器。

示例:

定义CRD:

apiVersion: apiextensions.k8s.io/v1
kind: CustomResourceDefinition
metadata:
  name: webhooks.example.com
spec:
  group: example.com
  version: v1
  names:
    kind: Webhook
    plural: webhooks
  scope: Namespaced

创建控制器代码:

package main

import (
  "fmt"
  "k8s.io/apimachinery/pkg/api/errors"
  metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
  "k8s.io/apimachinery/pkg/runtime"
  "k8s.io/apimachinery/pkg/watch"
  "k8s.io/client-go/kubernetes"
  "k8s.io/client-go/tools/cache"
)

func main() {
  // 创建 Kubernetes 客户端
  client, err := kubernetes.NewForConfig(nil)
  if err != nil {
    fmt.Println(err)
    return
  }

  // 创建 Webhook 资源的 informer
  informer := cache.NewSharedInformerFactory(client, 0, nil).Apps().V1().Webhooks().Informer()

  // 添加事件处理函数
  informer.AddEventHandler(cache.ResourceEventHandlerFuncs{
    // 处理新增事件
    AddFunc: func(obj interface{}) {
      webhook := obj.(*example.com/v1.Webhook)
      fmt.Println("Webhook added:", webhook.Name)
    },
    // 处理更新事件
    UpdateFunc: func(oldObj, newObj interface{}) {
      oldWebhook := oldObj.(*example.com/v1.Webhook)
      newWebhook := newObj.(*example.com/v1.Webhook)
      fmt.Println("Webhook updated:", oldWebhook.Name, newWebhook.Name)
    },
    // 处理删除事件
    DeleteFunc: func(obj interface{}) {
      webhook := obj.(*example.com/v1.Webhook)
      fmt.Println("Webhook deleted:", webhook.Name)
    },
  })

  // 启动 informer
  informer.Run(nil)

  // 等待控制器退出
  select {}
}

部署控制器:

kubectl apply -f controller.yaml

测试控制器:

kubectl create -f webhook.yaml

结果

Webhook added: my-webhook

 

高级网络和服务发现

Network Policies：精细化流量控制

a.1 概念解析:

Network Policy 是一种基于 Pod 的网络控制机制，用于限制 Pod 之间的流量。它可以帮助您提高应用安全性，并防止网络攻击。

a.2 使用步骤:

  1. 定义 Network Policy 资源。

  2. 应用 Network Policy 到 Pod。

a.3 扩展知识点:

  • Network Policy 支持多种协议，包括 TCP、UDP、ICMP 等。

  • Network Policy 可以使用标签选择器来匹配 Pod。

  • Network Policy 可以使用优先级来控制多个策略的应用顺序。

示例:

1. 定义 Network Policy 资源:

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-web-traffic
spec:
  podSelector:
    matchLabels:
      app: web
  ingress:
  - ports:
    - protocol: TCP
      port: 80
    from:
    - podSelector:
        matchLabels:
          app: frontend
  egress:
  - to:
    - podSelector:
        matchLabels:
          app: database
    ports:
    - protocol: TCP
      port: 5432

2. 应用 Network Policy 到 Pod:

kubectl apply -f network-policy.yaml

Service Mesh：服务治理新范式

b.1 概念解析:

Service Mesh 是一种用于控制服务间通信的专用网络。它可以提供流量路由、负载均衡、故障转移、安全认证等功能，帮助您构建更可靠、更高效的服务架构。

b.2 Istio 简介:

Istio 是最流行的 Service Mesh 之一。它提供了丰富的功能，可以帮助您轻松管理和治理服务。

b.3 Istio 基本使用:

  1. 安装 Istio。

  2. 部署 Istio 代理。

  3. 配置 Istio 路由规则。

b.4 扩展知识点:

  • Istio 支持多种流量路由策略，例如轮询、哈希、随机等。

  • Istio 可以使用负载均衡来分发流量到多个 Pod 实例。

  • Istio 可以使用故障转移来确保服务始终可用。

  • Istio 可以使用安全认证来控制服务之间的访问。

示例:

1. 安装 Istio:

kubectl apply -f istio-install.yaml

2. 部署 Istio 代理:

kubectl apply -f istio-deployment.yaml

3. 配置 Istio 路由规则:

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: my-service
spec:
  hosts:
  - my-service.example.com
  gateways:
  - my-gateway
  http:
  - match:
    - uri:
        prefix: /
    route:
    - destination:
        host: my-service
        port: 80
  - match:
    - uri:
        prefix: /api
    route:
    - destination:
        host: my-api
        port: 8080

其他高级网络和服务发现功能

  • DNS 服务: Kubernetes 提供了一个内置的 DNS 服务，可以用于将服务名称解析为 IP 地址。

  • 负载均衡: Kubernetes 可以使用多种负载均衡器来分发流量到多个 Pod 实例。

  • 服务发现: Kubernetes 提供了多种服务发现机制，例如 Service 和 Endpoints，帮助 Pod 找到其他服务。

Kubernetes 持久化存储

Kubernetes 提供了多种持久化存储机制，用于存储 Pod 的数据，即使 Pod 重新启动或终止，数据也能持久存在。下面来带兄弟们了解一下Persistent Volumes (PV) 和 Persistent Volume Claims (PVC) ，以及动态存储和 Storage Classes 的概念，帮助你们全面掌握 Kubernetes 持久化存储的精髓，并根据应用需求选择合适的存储方案。

图片

Persistent Volumes 和 Persistent Volume Claims

a.1 概念解析:

  • Persistent Volume (PV): 由管理员预先配置的存储资源，可以被 Pod 使用。

    • 回收策略

      • retain：保留策略，当删除pvc的时候，保留pv与外部存储资源。

      • delete：删除策略，当与pv绑定的pvc被删除的时候，会从k8s集群中删除pv对象，并执行外部存储资源的删除操作。

      • resycle（已废弃）

    • pv状态迁移

      • available --> bound --> released

    • 特点:

      • 容量：存储空间大小，例如 1Gi。

      • 访问模式：Pod 如何访问 PV，例如 ReadWriteOnce（读写一次）或 ReadOnlyMany（只读多）。

      • 存储类型：本地磁盘、网络存储、云存储等。

      • 绑定状态：PV 可以处于未绑定或已绑定状态。

  • Persistent Volume Claim (PVC): Pod 对存储资源的请求，可以绑定到 PV 上。

    • 特点:

      • 存储类：定义 PV 的类型和特性，例如性能、可用性等。

        • 资源需求：Pod 所需的存储空间大小，例如 1Gi。

    • 绑定状态：PVC 可以处于未绑定、绑定或正在绑定状态。

a.2 使用步骤:

  1. 创建 PV。

  2. 创建 PVC。

  3. 将 PVC 绑定到 Pod。

a.3 完整示例:

1. 创建 PV:

apiVersion: v1
kind: PersistentVolume
metadata:
  name: my-pv
spec:
  capacity:
    storage: 1Gi
  accessModes:
  - ReadWriteOnce
  hostPath:
    path: /data

2. 创建 PVC:

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: my-pvc
spec:
  storageClassName: my-storage-class
  resources:
    requests:
      storage: 1Gi

3. 将 PVC 绑定到 Pod:

apiVersion: v1
kind: Pod
metadata:
  name: my-pod
spec:
  containers:
  - name: my-app
    image: my-app:latest
    volumeMounts:
    - name: my-data
      mountPath: /data
  volumes:
  - name: my-data
    persistentVolumeClaim:
      claimName: my-pvc

动态存储和 Storage Classes

b.1 概念解析:

  • 动态存储: Kubernetes 可以自动创建和管理 PV，无需管理员手动配置。

    • 实现: 使用存储供应器（Provisioner）来创建 PV，例如 Kubernetes 本身的 GCE PD 供应器或其他第三方供应器。

    • 优势: 简化 PV 管理，提高运维效率。

  • Storage Class: 用于定义存储资源的类型和特性，例如性能、可用性等。

    • 作用: 为 PVC 提供选择依据，让 Pod 可以根据需求选择合适的存储类型。

    • 参数: 不同存储类型支持不同的参数，例如本地磁盘的类型、云存储的区域等。

b.2 使用步骤:

  1. 创建 Storage Class。

  2. 在 PVC 中指定 Storage Class。

b.3 完整示例:

1. 创建 Storage Class:

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: my-storage-class
provisioner: kubernetes.io/gce-pd
parameters:
  type: pd-standard
  zone: us-central1-a

2. 在 PVC 中指定 Storage Class:

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: my-pvc
spec:
  storageClassName: my-storage-class
  resources:
    requests:
      storage: 1Gi

VolumeAttachment

VolumeAttachment 记录了pv的相关挂载信息，如挂载到哪个node节点，由哪个volume plugin来挂载等。

AD Controller 创建一个 VolumeAttachment，而 External-attacher 则通过观察该 VolumeAttachment，根据其状态属性来进行存储的挂载和卸载操作。

apiVersion: storage.k8s.io/v1
kind: VolumeAttachment
metadata:
  name: csi-123456
spec:
  attacher: cephfs.csi.ceph.com
  nodeName: 192.168.1.10
  source:
    persistentVolumeName: pvc-123456
status:
  attached: true

 

CSINode

CSINode 记录了csi plugin的相关信息（如nodeId、driverName、拓扑信息等）。

当Node Driver Registrar向kubelet注册一个csi plugin后，会创建（或更新）一个CSINode对象，记录csi plugin的相关信息。

apiVersion: storage.k8s.io/v1
kind: CSINode
metadata:
  name: 192.168.1.10
spec:
  drivers:
  - name: cephfs.csi.ceph.com
    nodeID: 192.168.1.10
    topologyKeys: null
  - name: rbd.csi.ceph.com
    nodeID: 192.168.1.10
    topologyKeys: null

其他持久化存储选项

  • Local Persistent Volumes: 使用本地磁盘作为存储。

  • Network Storage: 使用 NFS、GlusterFS 等网络存储系统。

  • Cloud Storage: 使用 AWS EBS、Azure Disk 等云存储服务

今天深入探讨了 K8S 高级资源和控制器、高级网络和服务发现、持久化存储等功能的使用，并提供了详细的示例，帮助兄弟们进一步的全面掌握 Kubernetes 的高级功能。

关注我，让我们一起继续深入讨论K8S。

想要了解更多技术文章请关注公众号“职谷智享”，关注后回复关键字【秒杀】可以领取秒杀系统学习资料

飞翔的乌龟
关注
  • 18
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据化管理：洞悉零售及电子商务运营.pdf
12-17
数据化管理：洞悉零售及电子商务运营.pdf
洞悉数字化转型趋势 建立数字化转型战略.docx
11-16
数字化转型：利用数字化技术(例如云计算、大数据、移动、社交、人工智能、物联网、机器人、区块链等)和能力来驱动组织商业模式创新和商业生态系统重构的途径和方法。目的是实现企业业务的转型、创新、增长。核心是...
洞悉科技·预见未来：2022年全球技术及应用大趋势前瞻展望.pdf
11-15
洞悉科技·预见未来：2022年全球技术及应用大趋势前瞻展望.pdf洞悉科技·预见未来：2022年全球技术及应用大趋势前瞻展望.pdf洞悉科技·预见未来：2022年全球技术及应用大趋势前瞻展望.pdf
中国消费者报告2021：洞悉中国消费者，全球增长引擎.pdf
01-09
中国消费者报告2021：洞悉中国消费者，全球增长引擎
K8S哲学 - 资源调度 DaemonSet
gu2022_3_5_21_23的博客
05-03 477
默认是滚动更新，结果是，一旦修改 yaml文件 template 里面的 内容，那么所有节点的 ds 都会更新，所以 修改为 OnDelete 模式、当 某一个 节点的 ds需要更新，就删除 改 ds ，会自动按照新的 yaml文件创建一个 ds。正常情况下，每个服务都会进行 各自的日志收集、但是因为他们不在 同一台 Node 上，导致一旦查日志就需要 调动各个 机器进行切换，不方便也不高效。所以只要 节点在 改集群内，只要 在需要的节点加上 nodeSelector 就会在该节点创建 ds。
k8s：精通 Pod 操作的关键命令
weixin_43784341的博客
04-29 1027
这些命令可以帮助你在 Kubernetes 中管理和操作 Pod，使你能够轻松地创建、查看、删除和调试 Pod，并进行其他相关操作。
k8s 资源组版本支持列表
yunis
04-30 1226
kube-apiserver组件启动后的第一件事情是将Kubernetes所支持的资源注册到Scheme资源注册表中，这样后面启动的逻辑才能够从Scheme资源注册表中拿到资源信息并启动和运行API服务。kube-apiserver资源注册分为两步：第1步，初始化Scheme资源注册表；资源的注册过程并不是通过函数调用触发的，而是通过Go语言的导入（import）和初始化（init）机制触发的。打开 kubernetes 指定版本源码，根据下述路径可得，待注册的GVR列表信息。
K8S controller编写之Informer的原理+使用[drift]
斯是陋室，惟汝德馨
04-30 801
Watch 操作的实现机制使用 HTTP 协议的分块传输编码——当 client-go 调用 Kubernetes API Server 时，Kubernetes API Server 在 Response 的 HTTP Header 中设置 Transfer-Encoding 的值为 chunked，表示采用分块传输编码，客户端收到消息后，与服务端进行连接，并等待下一个数据块。图来源（CloudNativeCommunity）client-go 中informer的概括图.
k8s ReplicaSet
最新发布
2401_82869454的博客
05-06 219
ReplicaSet 是替代 ReplicationController 的，ReplicaSet 的行为与 ReplicationController 完全相同， 但pod 选择器的表达能力更强。ReplicationController 的标签选择器只允许包含某个标签的匹配 pod，但 ReplicaSet 的选择器还允许匹配缺少某个标签的 pod, 或包含特定标签名的 pod。ReplicaSet 相对于 ReplicationController 的主要改进是它更具表达力的标签选择器。
K8S哲学 - 资源调度 HPA （horizontal pod autoScaler-sync-period）
gu2022_3_5_21_23的博客
05-04 291
最小2个node 最大5个。
在k8s中部署Prometheus并实现对k8s集群的监控
博客虽小，世界尽在其中
05-01 848
本文详细介绍了如何在Kubernetes（k8s）集群中部署Prometheus，并实现对整个集群的监控。首先，文章简要概述了Prometheus作为一款开源系统监控和警报工具包的强大功能，以及它在现代云原生架构中的重要性。接着，文章详细阐述了在k8s集群中部署Prometheus的步骤，包括安装必要的组件
k8s中，configMap与环境变量的关系
Keep trying, keep going
04-30 688
在Kubernetes中，ConfigMap和环境变量都可以用于向容器传递配置信息。环境变量：这是一种将配置信息直接注入到容器中的方法。它们在容器启动时被设置，并且在容器的生命周期内保持不变。ConfigMap：这是一种在Kubernetes集群中存储和管理非机密配置信息的方法。ConfigMap可以被多个Pod共享，并且可以在运行时更新。可以将ConfigMap数据注入到容器中作为环境变量或挂载到文件系统中的文件。
MO干货 | Matrixone-Operator 设计与实现
MatrixOrigin的博客
04-29 1303
而实际场景中，确实存在一组 CN 先被缩容，在缩容完成前又再扩容上去的场景（尤其是在开启了自动伸缩后），这时候，Operator 内的调谐循环就可以计算出此时可以直接复用仍然在下线中的 CN，调用 MO 内部的管理接口将 CN 将这个 CN 重新恢复成服务状态，不再向其他 CN 迁移 session 并且重新向 Proxy 接受新 session，而不需要再扩容出一个新的 CN。每种 API 和它们的控制器在设计时都有独特的考量，但万变不离其宗，所有的 API 和控制器都是以上述模式进行构建的。
K8s: Kubernetes扩展之自定义资源
Wang的专栏
05-01 1533
自定义资源是 K8s 的扩展，有时候需要对K8s进行一个扩展在默认的K8s集群里面提供的资源对象是一个有限的集合比如常用的pod, deployment, service，这些都是K8s原生的资源之所以它资源，是因为它能够对外提供API接口变成一个resource进行访问通过 kubectl 创建，也能把这些资源创建出来当有限的K8s的资源，不能满足你的需求的情况下就需要通过 Custom Resource 来实现自定义的这个资源。
9.4.k8s的控制器资源（job控制器，cronjob控制器）
qq_22321199的专栏
05-05 371
job控制器就是一次性任务的pod控制器，pod完成作业后不会重启，其重启策略是：Never； ​ cronjob控制器，是基于job控制器，定期频率性执行任务；与linux系统中的crontab一样；
K8S join 证书过期 节点报错：certificate has expired or is not yet valid
还想做MAD
05-02 406
certificate has expired or is not yet valid: current time 2024-04-27T15:33:56+08:00 is before 2024-04-27T12:26:15Z
【k8s】利用Kubeadm搭建k8s1.29.x版本+containerd
L李钟意的博客
05-04 1023
这里写一个用kubeadm搭建k8s的1.29.x版本，依此来把当前文章变成后续 版本的通用部署k8s文章,容器运行时有好几个 containerd、CRI-O、Docker Engine（使用 cri-dockerd），这里选择containerdcontainerd安装参考手册containerd 调用链更短，组件更少，更稳定，支持OCI标准，占用节点资源更少。建议选择 containerd。以下情况，请选择 docker 作为运行时组件：如需使用 docker in docker。
【非常实战具体】k8s中deployment和StatefulSet构建的pod的区别
Keep trying, keep going
04-30 597
它们之间的主要区别在于它们处理Pod的方式和适用的应用程序类型。主要用于部署有状态应用程序，这些应用程序的实例需要保持一定的状态和顺序，如数据库、消息队列等。适用于有状态应用程序，它提供了稳定的网络标识和独立存储卷，以及有序的Pod创建和删除。适用于无状态应用程序，它可以快速扩展和更新，而不需要保持Pod之间的状态和顺序。主要用于部署无状态应用程序，这些应用程序的实例之间是相互独立的，可以相互替换。中的Pod具有稳定的网络标识，方便应用程序实例之间的通信。使用有状态存储卷，每个Pod都有自己的独立存储卷。
k8s-pod
2401_82869454的博客
04-30 285
由于一个 pod 中的所有容器都在相同的 network 和 UTS 命名空间下运行，所以它们都共享相同的主机名和网络接口。由于一个 pod 中的容器运行于相同的 Network 命名空间中，因此它们共享相同的 IP 地址和端口空间。这意味着在同一 pod 中的容器运行的多个进程需要注意不能绑定到相同的端口号， 否则会导致端口冲突， 但这只涉及同一 pod 中的容器。运行在同一个 pod 中的进程与运行在同一物理机或虚拟机上的进程相似，只是每个进程都封装在一个容器之中。
数据化管理:洞悉零售及电子商务运营 pdf
07-12
数据化管理是指企业利用现代信息技术手段对企业的运营管理进行全面智能化、精细化的过程。对于零售及电子商务行业来说，数据化管理的意义非常重大。 首先，数据化管理可以帮助零售及电子商务企业更好地洞悉市场需求...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值