k8s学习——升级后的k8s使用私有harbor仓库

升级后的k8s使用了第三方的容器管理器，安装了nerdctl工具来替代docker进行镜像管理。但是使用docker build打包并上传至harbor仓库的镜像，在部署过程中始终拉不下来，报错证书错误。通过journalctl -xe |grep kubelet 或 journalctl -xe |grep containerd 查看可以看到报错结果。

containerd[3109309]: time="2024-07-18T18:41:26.197261520+08:00" level=error msg="PullImage \"core.harbor.shell.com:443/library/nettools:v1\" failed" error="failed to pull and unpack image \"core.harbor.shell.com:443/library/nettools:v1\": failed to resolve reference \"core.harbor.shell.com:443/library/nettools:v1\": failed to do request: Head \"https://core.harbor.shell.com:443/v2/library/nettools/manifests/v1\": tls: failed to verify certificate: x509: certificate signed by unknown authority"

在/etc/containerd/certs.d 目录下效仿docker设置将证书放在core.harbor.shell.com:443目录下。重新加载配置，重启kubelet、containerd甚至docker后，依旧是报错。很奇怪的是使用sudo nerdctl login core.harbor.shell.com:443 登录还能登录成功。后来看了一篇文章才知道，nerdctl工具没有安装完全，除了nerdctl工具外还要安装buildctl工具，否则nerdctl build 不能使用，同时，还需要启动一个buildkitd服务。其工具的下载地址：

wget https://github.com/moby/buildkit/releases/download/v0.15.0/buildkit-v0.15.0.linux-amd64.tar.gz

可参考Containerd 高级命令行工具 nerdctl安装文档_nerdctl 安装-CSDN博客

如果不安装buildctl工具，通过命令 nerdctl version 也会警告没有安装buildctl工具。

等把所有节点全部安装了buildctl 并启动了buildkit服务后，再重启kubelet、containterd，部署过程中私有仓库的镜像拉取就正常了。 

如果journalctl -xe 还是报如下错误

tls: failed to verify certificate: x509: certificate signed by unknown authority

就按照官网containerd/docs/hosts.md at main · containerd/containerd · GitHub 修改/etc/containerd/config.toml 文件

version = 2

[plugins."io.containerd.grpc.v1.cri".registry]
   config_path = "/etc/containerd/certs.d"
  

重启 systemctl restart containerd

systemctl status containerd 查看没有X509错误就ok了。