Kubernetes Operator开发 (小白入门包懂包会)-CSDN博客

Kubernetes采用 etcd 作为其主要的数据存储组件。通过 API Server 对外提供 RESTful API 接口服务，以便用户和系统进行交互。用户可以通过 HTTP 请求对资源类型进行创建、读取、更新和删除操作。这种方式非常类似于 Spring Boot + MySQL 的组合，即一个服务提供 REST 接口，另一个提供数据存储服务。

而 scheduler、controller-manager、kubelet 和 kube-proxy 等核心组件会监听 etcd 中资源类型数据的变更，从而实现 Kubernetes 资源的生命周期管理，例如 Deployments、Pod、Service 等。这些操作基本上由 Kubernetes 自动完成，无需上层应用过多关注。

### 查询当前k8s 资源类型列表

kubectl api-resources

这个截图包含所有的底层数据结构资源类型。我们接下来所要实现的目标就是对这些Kind进行增删改查。

2.2 Restful API使用

可以通过kubectl直接在linux服务器上直接交互，也可以通过sdk的方式直接访问使用。需要提前配置好认证和授权文件kube-config。 Operator可以采用多种语言编写。笔者会选用Goalng作为开发语言进行演示。

C	github.com/kubernetes-client/c	浏览
Go	github.com/kubernetes/client-go/	浏览
Haskell	github.com/kubernetes-client/haskell	浏览
Java	github.com/kubernetes-client/java	浏览
JavaScript	github.com/kubernetes-client/javascript	浏览
Perl	github.com/kubernetes-client/perl/	浏览
Python	github.com/kubernetes-client/python/	浏览
Ruby	github.com/kubernetes-client/ruby/	浏览

2.3 CRD是什么

在Kubernetes中，CRD（Custom Resource Definition，自定义资源定义）允许用户扩展Kubernetes API，创建新的资源类型。通过CRD可以定义和管理自定义的资源，就像Kubernetes内置资源类型（例如:Pods、Services）。

相当于你在原来的kubectl api-resources 基础之上又扩展了一个新的资源类型。但是这个新的资源类型没有控制器(controller)能识别。即便是部署了也不会有实际的效果。需要我们自己编写Operator Controller去处理CRD以及声明式yaml的请求。

2.4 Group是什么

Group 是在 Kubernetes 集群中组织和管理自定义资源的强大机制。它提供了一种对自定义资源进行命名空间划分、管理 API 版本以及促进 operator 开发和管理的方法。例如：Pod在core group,Deployments在apps group，Ingress在networking.k8s.io group等等

2.5 申明式编程是什么

在Kubernetes中，申明式编程是一种描述系统的目标状态而不是操作步骤的编程方式。在这种模型中，你定义期望的系统状态，Kubernetes负责确保系统达到并维持这种状态。通常采用yaml或者json方式来作为申明文件。Pod声明式yaml文件示例如下:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: demo
spec:
  replicas: 3
  selector:
    matchLabels:
      app: demo
  template:
    metadata:
      labels:
        app: myapp
    spec:
      containers:
      - name: demo
        image: nginx:latest
        ports:
        - containerPort: 8080

Operator开发过程中也是用到申明式文件格式用来和operator系统,进行交互。告诉Operator如何去管理各个资源的生命周期以及一些定制化的运维操作。

三、实战入门

Operator 通过CRD监听自定义的资源类型Kind创建，更新，删除 (例如：Pod)。再根据业务逻辑判定接下来的执行流程。最终都是需要调用apiaerver服务的Restful API来完成。

3.1 基础环境准备

1) kubernetes基础环境

如果已经有k8s 开发环境配置好kube-config (~/.kube/config) 远程连接即可。笔者使用minikube在本机搭建的一个简易版k8s 供调试使用

这里2.2章节里面有如何使用minikube搭建环境的http://t.csdnimg.cn/6n0As

2) Golang基础环境

如果开发Operator采用的Java语言此处就安装JDK即可，笔者采用的是Golang语言。

直接下载安装即可:

https://go.dev/dl/go1.23.0.darwin-arm64.pkg

vim ~/.bash_profile

export GOPATH=$HOME/go
export PATH=$PATH:/usr/local/go/bin:$GOPATH/bin

source ~/.bash_profile

All releases - The Go Programming Languagehttps://go.dev/dl/

3) 开发工具准备

选用vscode或者Goland工具都可以，需要读者搭建好开发的环境。

3.2 Operator 脚手架代码生成

不同语言的脚手架项目可以生成脚手架代码帮助快速开发。

Charmed Operator Framework
Java Operator SDK
Kopf (Kubernetes Operator Pythonic Framework)
kube-rs (Rust)
kubebuilder
KubeOps (.NET operator SDK)
Metacontroller，可与 Webhook 结合使用，以实现自己的功能。
Operator Framework
shell-operator

笔者选用的是kubebuilder框架进行调试，如果Java语言可以使用Java Operator SDK这个开源框架。

### 在本地电脑安装上kubebuilder和kustomize

brew install kubebuilder

brew install kustomize

## 生成脚手架代码

kubebuilder init --domain ta.cn

## 生成 api group 代码

kubebuilder create api --group demo --version v1 --kind Hello

### 生成CRD yaml文件

make manifests

3.3 Operator 部分代码介绍

代码生成过后是这样的目录结构

梳理一下资源清单

operator自身部署yaml清单

CustomResourceDefinition

namespace

ServiceAccount

RBAC

deployment

申明式自定义yaml配置文件

注意：

如果在修改代码过后需要重新生成脚手架代码。特别是Types中的***Spec 结构体变化后需要重新生成CRDyaml。

3.4 逻辑代码编写 & 调试

通过代码调试之前必须要部署 CRD CustomResourceDefinition

#### 部署CRD

kubectl apply -f config/crd/bases/demo.demo.cn_hellos.yaml

### 查看crd是否已经存在

kubectl get crd

kubectl get apiservice

到此hello 已经运行出来了。可以根据yaml文件里面的信息在逻辑代码区执行自定义的运维操作。业务代码区域可以实现Kubernetes资源对象的增删改查进而可以管理和控制集群中的资源。比如 Pod，Deployments，Service等,限于篇幅本文不再展开。

3.5 制作双架构镜像 & helm包

1) 制作镜像

### 安装buildx插件

docker buildx install

### 安装buildx构建器

docker buildx create --use

### 开始制作arm64 amd64 镜像

docker buildx build \

--platform linux/amd64,linux/arm64 \

-t registry.cn-shanghai.aliyuncs.com/xy-yun/operator-demo:v1.0.0 . \

--push

笔者使用的是阿里云的私有仓库来测试的

2) 制作helm包

### 可以将离散的yaml导出到一个文件

kustomize build config/default > hello-deploy.yaml

部分yaml截图

需要手动给改造成一个helm，也可以直接使用yaml部署测试。

3.6 测试验证

helm部署查看operator-demo是否正常的启动

helm upgrade --install operator-demo operator-demo

kubectl get po -A

部署自定义申明式yaml

kubectl apply -f config/samples/demo_v1_hello.yaml

查看operator-demo日志是否正确的处理了 yaml的请求

可以看到已经正确的输出日志。后续要扩展至需要controller的Reconcile中添加业务逻辑处理代码即可。

四、小结

本文介绍了Operator是什么有什么作用应用场景有哪些，也介绍了Operator完整的开发过程。包括：利用Kubebuild 开源项目生成Operator脚手架工程，IDE测试代码调试，制作镜像再部署调试等。希望能打破Kubernetes Operator技术壁垒，让更多的人能轻松上手。利用云原生的技术为企业创造更多价值。