Kubernetes-Kind篇-01-kind搭建测试集群

1、Kind 介绍

官方文档地址:https://kind.sigs.k8s.io/
github仓库地址:https://github.com/kubernetes-sigs/kind
国内镜像仓库地址:https://gitcode.com/gh_mirrors/ki/kind/overview

kind 是一种使用 Docker 容器 nodes 运行本地 Kubernetes 集群的工具。 kind 主要是为了测试 Kubernetes 自身而设计的,但它也可用于本地开发或 CI。

k8s集群的组成比较复杂,如果纯手工部署的话易出错且时间成本高。比如我曾在pvc和vmware平台上进行过集群的搭建,创建虚拟机本身就需要一定的时间成本。

而本文介绍的Kind工具,能够快速的建立起可用的k8s集群,降低初学者的学习门槛。

Kind是Kubernetes In Docker的缩写,顾名思义,看起来是把k8s放到docker的意思。没错,kind创建k8s集群的基本原理就是:提前准备好k8s节点的镜像,通过docker启动容器,来模拟k8s的节点,从而组成完整的k8s集群。需要注意,kind创建的集群仅可用于开发、学习、测试等,不能用于生产环境。

1.2 Kind 功能

  • 快速创建集群:通过简单的命令行操作,快速创建单节点或多节点的Kubernetes集群。
  • 多版本支持:可以创建不同版本的Kubernetes集群,便于测试应用在新旧版本Kubernetes上的兼容性。
  • 集群配置:支持通过配置文件自定义集群的各种参数,包括节点数量、镜像、网络插件等。
  • 节点管理:可以方便地查看和管理集群中的各个节点,包括添加、删除节点等操作。
  • 集成开发环境:适用于本地开发,可直接在集群中部署和调试应用,快速迭代。
  • CI/CD集成:由于其轻量级和标准化的特点,非常适合集成到持续集成/持续部署流程中,自动化测试Kubernetes应用。

1.3 Kind 优点

  • 简易安装和配置:kind极大地简化了Kubernetes集群的搭建过程,只需要Docker环境即可快速启动一个Kubernetes集群,无需额外的虚拟机或复杂的配置。
  • 轻量级:由于是在Docker容器中运行,kind消耗的系统资源相对较少,适合在开发机器上运行,便于进行本地开发和测试。
  • 灵活性:用户可以自定义集群配置,包括使用的Kubernetes版本、集群的网络插件、额外的容器运行时配置等,满足不同的测试和开发需求。
  • 集成测试:对于CI/CD流程而言,kind提供了标准化的Kubernetes环境,有助于进行集成测试和验证应用在不同Kubernetes版本下的兼容性。
  • 可扩展性:kind支持自定义集群配置文件,方便集成其他工具和服务,如Prometheus监控、Istio服务网格等,进行更复杂的测试和实验。

1.4、Kind 缺点

  • 性能限制:虽然kind适合开发和测试,但由于所有的节点都在同一个宿主机上运行,受制于宿主机资源,可能无法模拟生产环境的性能特征,也不适合高负载测试。
  • 网络复杂性:虽然kind支持多种网络插件,但与物理或VM-based集群相比,其网络行为可能有所不同,可能会影响到一些对网络有特定要求的应用的测试。
  • 资源隔离限制:因为所有组件运行在相同的宿主机上,资源隔离不如使用虚拟机的解决方案彻底,可能会出现容器间资源竞争的情况。

1.5、Kind 工作原理

Kind 使用容器来模拟每一个 Kubernetes 节点,并在容器里面运行 Systemd 。

容器里的 Systemd 托管了 Kubelet 和 Containerd ,然后容器内部的 Kubelet 把其它 Kubernetes 组件: Kube-Apiserver 、 Etcd 、 CNI 等等组件运行起来。

Kind 内部使用了 Kubeadm 这个工具来做集群的部署,包括高可用集群也是借助 Kubeadm 提供的特性来完成的。在高用集群下还会额外部署了一个 Nginx 来提供负载均衡 VIP。

2、Kind 使用

2.1 支持的指令

kind
kind creates and manages local Kubernetes clusters using Docker container 'nodes'

Usage:
  kind [command]

Available Commands:
  build       Build one of [node-image]
  completion  Output shell completion code for the specified shell (bash, zsh or fish)
  create      Creates one of [cluster]
  delete      Deletes one of [cluster]
  export      Exports one of [kubeconfig, logs]
  get         Gets one of [clusters, nodes, kubeconfig]
  help        Help about any command
  load        Loads images into nodes
  version     Prints the kind CLI version

Flags:
  -h, --help              help for kind
      --loglevel string   DEPRECATED: see -v instead
  -q, --quiet             silence all stderr output
  -v, --verbosity int32   info log verbosity, higher value produces more output
      --version           version for kind

Use "kind [command] --help" for more information about a command.

简单说下几个比较常用选项的含义:

  • build:用来从 Kubernetes 源代码构建一个新的镜像。
  • create:创建一个 Kubernetes 集群。
  • delete:删除一个 Kubernetes 集群。
  • get:可用来查看当前集群、节点信息以及 Kubectl 配置文件的地址。
  • load:从宿主机向 Kubernetes 节点内导入镜像。

kind创建的集群也是使用kubectl老进行客户端安装的,因此需要先进行该工具的安装,可以直接执行命令进行安装:

sudo snap install kubectl --classic

2.2 新建k8s集群

先看一下目前本地的docker 镜像和容器信息:

~/workspace/king-devops git:[master]
sudo docker ps -a
CONTAINER ID   IMAGE     COMMAND   CREATED   STATUS    PORTS     NAMES

~/workspace/king-devops git:[master]
sudo docker image ls
REPOSITORY   TAG       IMAGE ID   CREATED   SIZE

本地是一个新的开发环境,所有很干净,如果需要清理本地的docker环境的话,可以参考下面的shell:

# 删除容器,支持多个
docker rm containerId1 containerId2

# 删除所有未使用的镜像
docker image prune -a

由于dockerhub被墙,这里找到一个国内的源:https://docker.aityp.com/image/docker.io/kindest/node:v1.31.0

先docker 拉取该源,并修改tag:

sudo docker pull m.daocloud.io/docker.io/kindest/node:v1.31.0

sudo docker tag  m.daocloud.io/docker.io/kindest/node:v1.31.0  docker.io/kindest/node:v1.31.0

sudo docker rmi m.daocloud.io/docker.io/kindest/node:v1.31.0

结果:

sudo docker image ls
REPOSITORY     TAG       IMAGE ID       CREATED       SIZE
kindest/node   v1.31.0   b5cb8c3b1441   7 weeks ago   1.03GB

2.2.1 创建一个简单的k8s集群

命令:
命令:

sudo kind create cluster --name myk8s-test --image kindest/node:v1.31.0 --retain; sudo kind export logs --name myk8s-test

参数解释:

  • –image可以执行指定不同版本的镜像
  • –name可以指定集群名

结果:

sudo kind create cluster --name myk8s-test --image kindest/node:v1.31.0 --retain; sudo kind export logs --name myk8s-test
Creating cluster "myk8s-test" ...
 ✓ Ensuring node image (kindest/node:v1.31.0) 🖼
 ✓ Preparing nodes 📦  
 ✓ Writing configuration 📜 
 ✓ Starting control-plane 🕹️ 
 ✓ Installing CNI 🔌 
 ✓ Installing StorageClass 💾 
Set kubectl context to "kind-myk8s-test"
You can now use your cluster with:

kubectl cluster-info --context kind-myk8s-test

Have a nice day! 👋
Exporting logs for cluster "myk8s-test" to:
/tmp/972923639

查看通过kind创建的集群:

sudo kind get clusters
myk8s-test

已经成功创建了一个集群,并且集群名就是我们通过–name参数设置的。

查看容器信息:

sudo docker ps
CONTAINER ID   IMAGE                  COMMAND                   CREATED         STATUS         PORTS                       NAMES
8c764a962ab3   kindest/node:v1.31.0   "/usr/local/bin/entr…"   2 minutes ago   Up 2 minutes   127.0.0.1:41625->6443/tcp   myk8s-test-control-plane

新增了一个容器,并且
通过其容器名myk8s-test-control-plane,也可以与咱们创建的集群,对应上。

根据提示使用集群:

sudo kubectl cluster-info --context kind-myk8s-test

这里实际上是设置kubectl的上下文,后面直接试使用kubectl就可以访问该集群,效果与kubectl --kubeconfig=xxx一样.

查看集群节点:

sudo kubectl get nodes    
NAME                       STATUS   ROLES           AGE     VERSION
myk8s-test-control-plane   Ready    control-plane   7m48s   v1.31.0

查看集群全部的pod:

sudo kubectl get pods -A -owide
NAMESPACE            NAME                                               READY   STATUS    RESTARTS   AGE     IP           NODE                       NOMINATED NODE   READINESS GATES
kube-system          coredns-6f6b679f8f-psnlz                           1/1     Running   0          8m3s    10.244.0.2   myk8s-test-control-plane   <none>           <none>
kube-system          coredns-6f6b679f8f-q5p5w                           1/1     Running   0          8m3s    10.244.0.3   myk8s-test-control-plane   <none>           <none>
kube-system          etcd-myk8s-test-control-plane                      1/1     Running   0          8m11s   172.18.0.2   myk8s-test-control-plane   <none>           <none>
kube-system          kindnet-vtcxf                                      1/1     Running   0          8m3s    172.18.0.2   myk8s-test-control-plane   <none>           <none>
kube-system          kube-apiserver-myk8s-test-control-plane            1/1     Running   0          8m10s   172.18.0.2   myk8s-test-control-plane   <none>           <none>
kube-system          kube-controller-manager-myk8s-test-control-plane   1/1     Running   0          8m10s   172.18.0.2   myk8s-test-control-plane   <none>           <none>
kube-system          kube-proxy-2w5hj                                   1/1     Running   0          8m3s    172.18.0.2   myk8s-test-control-plane   <none>           <none>
kube-system          kube-scheduler-myk8s-test-control-plane            1/1     Running   0          8m10s   172.18.0.2   myk8s-test-control-plane   <none>           <none>
local-path-storage   local-path-provisioner-57c5987fd4-tjc2v            1/1     Running   0          8m3s    10.244.0.4   myk8s-test-control-plane   <none>           <none>

这里可以发现,该有的组件都有了。就是一个完整的master节点。

删除集群:

sudo kind delete cluster --name myk8s-test

2.2.2 创建一个一主二从的k8s集群

创建一个 test1.yaml 的文件,内容如下:

kind: Cluster
# 一共三个节点,一个主节点,两个从节点
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane  # 主节点
- role: worker  # 从节点
- role: worker  # 从节点

执行命令创建文件并将内容保存:

echo 'kind: Cluster
# 一共三个节点,一个主节点,两个从节点
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane  # 主节点
- role: worker  # 从节点
- role: worker  # 从节点' > test1.yaml

创建一主二从集群:

sudo kind create cluster --config=test1.yaml --name myk8s-test --image kindest/node:v1.31.0 --retain; sudo kind export logs --name myk8s-test

结果:

sudo kind create cluster --config=test1.yaml --name myk8s-test --image kindest/node:v1.31.0 --retain; sudo kind export logs --name myk8s-test
Creating cluster "myk8s-test" ...
 ✓ Ensuring node image (kindest/node:v1.31.0) 🖼
 ✓ Preparing nodes 📦 📦 📦  
 ✓ Writing configuration 📜 
 ✓ Starting control-plane 🕹️ 
 ✓ Installing CNI 🔌 
 ✓ Installing StorageClass 💾 
 ✓ Joining worker nodes 🚜 
Set kubectl context to "kind-myk8s-test"
You can now use your cluster with:

kubectl cluster-info --context kind-myk8s-test

Have a question, bug, or feature request? Let us know! https://kind.sigs.k8s.io/#community 🙂
Exporting logs for cluster "myk8s-test" to:
/tmp/1302378959

查看容器信息:

sudo docker ps
CONTAINER ID   IMAGE                  COMMAND                   CREATED         STATUS         PORTS                       NAMES
454b36b7bcb1   kindest/node:v1.31.0   "/usr/local/bin/entr…"   2 minutes ago   Up 2 minutes                               myk8s-test-worker2
13f56b739d18   kindest/node:v1.31.0   "/usr/local/bin/entr…"   2 minutes ago   Up 2 minutes   127.0.0.1:38485->6443/tcp   myk8s-test-control-plane
a8c6155a6ada   kindest/node:v1.31.0   "/usr/local/bin/entr…"   2 minutes ago   Up 2 minutes                               myk8s-test-worker

使用该集群:

sudo kubectl cluster-info --context kind-myk8s-test
Kubernetes control plane is running at https://127.0.0.1:38485
CoreDNS is running at https://127.0.0.1:38485/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.

查看节点信息:

sudo kubectl get nodes
NAME                       STATUS   ROLES           AGE     VERSION
myk8s-test-control-plane   Ready    control-plane   3m21s   v1.31.0
myk8s-test-worker          Ready    <none>          3m10s   v1.31.0
myk8s-test-worker2         Ready    <none>          3m10s   v1.31.0

查看pod信息:

sudo kubectl get pods -A -owide
NAMESPACE            NAME                                               READY   STATUS    RESTARTS   AGE     IP           NODE                       NOMINATED NODE   READINESS GATES
kube-system          coredns-6f6b679f8f-h42zh                           1/1     Running   0          3m35s   10.244.0.2   myk8s-test-control-plane   <none>           <none>
kube-system          coredns-6f6b679f8f-jt79q                           1/1     Running   0          3m35s   10.244.0.3   myk8s-test-control-plane   <none>           <none>
kube-system          etcd-myk8s-test-control-plane                      1/1     Running   0          3m41s   172.18.0.4   myk8s-test-control-plane   <none>           <none>
kube-system          kindnet-2mcxh                                      1/1     Running   0          3m35s   172.18.0.4   myk8s-test-control-plane   <none>           <none>
kube-system          kindnet-54n6f                                      1/1     Running   0          3m32s   172.18.0.3   myk8s-test-worker2         <none>           <none>
kube-system          kindnet-vgvqd                                      1/1     Running   0          3m32s   172.18.0.2   myk8s-test-worker          <none>           <none>
kube-system          kube-apiserver-myk8s-test-control-plane            1/1     Running   0          3m41s   172.18.0.4   myk8s-test-control-plane   <none>           <none>
kube-system          kube-controller-manager-myk8s-test-control-plane   1/1     Running   0          3m41s   172.18.0.4   myk8s-test-control-plane   <none>           <none>
kube-system          kube-proxy-nh7hg                                   1/1     Running   0          3m32s   172.18.0.2   myk8s-test-worker          <none>           <none>
kube-system          kube-proxy-qftvw                                   1/1     Running   0          3m32s   172.18.0.3   myk8s-test-worker2         <none>           <none>
kube-system          kube-proxy-wkkt7                                   1/1     Running   0          3m35s   172.18.0.4   myk8s-test-control-plane   <none>           <none>
kube-system          kube-scheduler-myk8s-test-control-plane            1/1     Running   0          3m41s   172.18.0.4   myk8s-test-control-plane   <none>           <none>
local-path-storage   local-path-provisioner-57c5987fd4-nwtgv            1/1     Running   0          3m35s   10.244.0.4   myk8s-test-control-plane   <none>           <none>

删除集群:

sudo kind delete cluster --name myk8s-test
Deleting cluster "myk8s-test" ...
Deleted nodes: ["myk8s-test-worker2" "myk8s-test-control-plane" "myk8s-test-worker"]

2.2.3 创建一个高可用的k8s集群

创建一个 test2.yaml 的文件,一共六个节点,三个 control-plane 节点,三个 workers 节点,内容如下:

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
- role: control-plane
- role: worker
- role: worker
- role: worker

执行命令创建文件并将内容保存:

echo 'kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
- role: control-plane
- role: worker
- role: worker
- role: worker' > test2.yaml

创建高可用集群:

sudo kind create cluster --config=test2.yaml --name myk8s-test --image kindest/node:v1.31.0 --retain; sudo kind export logs --name myk8s-test

结果:

sudo kind create cluster --config=test2.yaml --name myk8s-test --image kindest/node:v1.31.0 --retain; sudo kind export logs --name myk8s-test
Creating cluster "myk8s-test" ...
 ✓ Ensuring node image (kindest/node:v1.31.0) 🖼
 ✗ Preparing nodes 📦 📦 📦 📦 📦 📦  
ERROR: failed to create cluster: command "docker run --name myk8s-test-external-load-balancer --hostname myk8s-test-external-load-balancer --label io.x-k8s.kind.role=external-load-balancer --detach --tty --label io.x-k8s.kind.cluster=myk8s-test --net kind --restart=on-failure:1 --init=false --cgroupns=private --publish=127.0.0.1:35199:6443/TCP docker.io/kindest/haproxy:v20230606-42a2262b" failed with error: exit status 125
Command Output: Unable to find image 'kindest/haproxy:v20230606-42a2262b' locally
docker: Error response from daemon: Get "https://registry-1.docker.io/v2/": context deadline exceeded (Client.Timeout exceeded while awaiting headers).
See 'docker run --help'.
Exporting logs for cluster "myk8s-test" to:
/tmp/2092938174

看报错是访问镜像kindest/haproxy:v20230606-42a2262b时没有找到,我们还通过国内镜像仓库进行拉取:

sudo docker pull m.daocloud.io/docker.io/kindest/haproxy:v20230606-42a2262b

sudo docker tag  m.daocloud.io/docker.io/kindest/haproxy:v20230606-42a2262b  docker.io/kindest/haproxy:v20230606-42a2262b

sudo docker rmi m.daocloud.io/docker.io/kindest/haproxy:v20230606-42a2262b

确定下上面是否有创建出来集群,如果有,则先删除一下:

sudo kind get clusters
myk8s-test
sudo kind delete cluster --name myk8s-test

重新执行创建高可用集群的创建:

sudo kind create cluster --config=test2.yaml --name myk8s-test --image kindest/node:v1.31.0 --retain; sudo kind export logs --name myk8s-test
Creating cluster "myk8s-test" ...
 ✓ Ensuring node image (kindest/node:v1.31.0) 🖼
 ✓ Preparing nodes 📦 📦 📦 📦 📦  
 ✓ Configuring the external load balancer ⚖️ 
 ✓ Writing configuration 📜 
 ✓ Starting control-plane 🕹️ 
 ✓ Installing CNI 🔌 
 ✓ Installing StorageClass 💾 
 ✓ Joining more control-plane nodes 🎮 
 ✓ Joining worker nodes 🚜 
Set kubectl context to "kind-myk8s-test"
You can now use your cluster with:

kubectl cluster-info --context kind-myk8s-test

Have a nice day! 👋
Exporting logs for cluster "myk8s-test" to:
/tmp/4229211329

备注:我在创建多master节点时,遇见了问题,我测试了下面的几个组合:

  • 二主二从:失败
  • 三主:成功
  • 三主一从:失败
  • 二主三从:成功
  • 二主四从:失败
  • 三主三从:失败
  • 三主二从:失败

这里有官网的配置:
https://kind.sigs.k8s.io/docs/user/quick-start/#control-plane-ha
在这里插入图片描述
我最终调整为了二主三从的规格创建集群,这个应该是一些原因导致的创建失败。

因为同一份配置,在我的mac电脑上是完全ok的,顺利的创建三主三从的高可用集群。

一般的测试场景中,一主多从已经完全满足使用了,这里也不做过多深入考究了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值