源文章：containerd 二进制安装
一、环境
系统：Centos7
二、进制安装
Release containerd 1.6.5 · containerd/containerd · GitHub
github上面提供了带cri(容器运行时接口)、cni(容器网络接口)和不带的，这里图方便和兼容性就直接选择带cri和cni的吧
下载
wget -c https://github.com/containerd/containerd/releases/download/v1.6.5/cri-containerd-cni-1.6.5-linux-amd64.tar.gz
安装
tar -zxf cri-containerd-cni-1.6.5-linux-amd64.tar.gz -C /
三、开启启动服务
systemctl enable containerd --now
查看服务状态
[root@k8s-node02 containerd]# systemctl status containerd
● containerd.service - containerd container runtime
Loaded: loaded (/etc/systemd/system/containerd.service; disabled; vendor preset: disabled)
Active: active (running) since 日 2022-07-31 23:01:12 CST; 15min ago
Docs: https://containerd.io
Process: 2228 ExecStartPre=/sbin/modprobe overlay (code=exited, status=0/SUCCESS)
Main PID: 2229 (containerd)
Tasks: 8
Memory: 26.2M
CGroup: /system.slice/containerd.service
└─2229 /usr/local/bin/containerd
7月 31 23:01:12 k8s-node02 systemd[1]: Started containerd container runtime.
7月 31 23:01:12 k8s-node02 containerd[2229]: time="2022-07-31T23:01:12.449907775+08:00" level=info msg=serving... address=/run/containerd/containerd.sock.ttrpc
7月 31 23:01:12 k8s-node02 containerd[2229]: time="2022-07-31T23:01:12.449946236+08:00" level=info msg=serving... address=/run/containerd/containerd.sock
7月 31 23:01:12 k8s-node02 containerd[2229]: time="2022-07-31T23:01:12.449986296+08:00" level=info msg="containerd successfully booted in 0.042232s"
7月 31 23:01:12 k8s-node02 containerd[2229]: time="2022-07-31T23:01:12.464325017+08:00" level=info msg="Start subscribing containerd event"
7月 31 23:01:12 k8s-node02 containerd[2229]: time="2022-07-31T23:01:12.464892179+08:00" level=info msg="Start recovering state"
7月 31 23:01:12 k8s-node02 containerd[2229]: time="2022-07-31T23:01:12.464983433+08:00" level=info msg="Start event monitor"
7月 31 23:01:12 k8s-node02 containerd[2229]: time="2022-07-31T23:01:12.465003694+08:00" level=info msg="Start snapshots syncer"
7月 31 23:01:12 k8s-node02 containerd[2229]: time="2022-07-31T23:01:12.465015764+08:00" level=info msg="Start cni network conf syncer for default"
7月 31 23:01:12 k8s-node02 containerd[2229]: time="2022-07-31T23:01:12.465024518+08:00" level=info msg="Start streaming server"
四、查看containerd的状态
查看插件检查状态
从列表中可以看出snapshotter只有一个native可用。
$ [root@k8s-node02 k8s-install]# ctr plugin ls
TYPE ID PLATFORMS STATUS
io.containerd.content.v1 content - ok
io.containerd.snapshotter.v1 aufs linux/amd64 skip
io.containerd.snapshotter.v1 btrfs linux/amd64 skip
io.containerd.snapshotter.v1 devmapper linux/amd64 error
io.containerd.snapshotter.v1 native linux/amd64 ok
io.containerd.snapshotter.v1 overlayfs linux/amd64 error
io.containerd.snapshotter.v1 zfs linux/amd64 skip
...
io.containerd.tracing.processor.v1 otlp - skip
io.containerd.internal.v1 tracing - ok
io.containerd.grpc.v1 cri linux/amd64 error
这里可以看出cri是error，因为我用的系统是centos7，centos7默认文件系统是XFS，centos6是EXT4，cnetos5是EXT3. 而 默认状态下xfs是不支持overlayfs的。
通过df查看文件系统：
[root@k8s-node02 k8s-install]# df -T
文件系统 类型 1K-块 已用 可用 已用% 挂载点
devtmpfs devtmpfs 485692 0 485692 0% /dev
tmpfs tmpfs 497820 0 497820 0% /dev/shm
tmpfs tmpfs 497820 7792 490028 2% /run
tmpfs tmpfs 497820 0 497820 0% /sys/fs/cgroup
/dev/mapper/centos-root xfs 18307072 5477540 12829532 30% /
/dev/sda1 xfs 508588 187448 321140 37% /boot
tmpfs tmpfs 99564 0 99564 0% /run/user/0
/dev/sda3 xfs 5232640 33112 5199528 1% /var/lib/containerd
配置代理
vi /etc/systemd/system/containerd.service.d/http-proxy.conf
[Service]
Environment="HTTP_PROXY=http://127.0.0.1:10809"
Environment="HTTPS_PROXY=http://127.0.0.1:10809"
Environment="NO_PROXY=localhost,127.0.0.0/8,10.0.0.0/8,172.16.0.0/12,192.168.0.0/16,.svc,.cluster.local,.ewhisper.cn,<nodeCIDR>,<APIServerInternalURL>,<serviceNetworkCIDRs>,<etcdDiscoveryDomain>,<clusterNetworkCIDRs>,<platformSpecific>,<REST_OF_CUSTOM_EXCEPTIONS>"
五、解决cri error的问题
1 将cri的snapshotter设置成native(这种方式不知道有没后续问题)
containerd的默认配置文件在/etc/containerd/config.toml
[root@k8s-node02 k8s-install]# mkdir /etc/containerd
[root@k8s-node02 k8s-install]# cd /etc/containerd
[root@k8s-node02 containerd]# containerd config default > config.toml
[root@k8s-node02 containerd]# vi config.toml
将默认配置文件的
[plugins."io.containerd.grpc.v1.cri".containerd]
default_runtime_name = "runc"
disable_snapshot_annotations = true
discard_unpacked_layers = false
ignore_rdt_not_enabled_errors = false
no_pivot = false
snapshotter = "overlayfs"
改为
[plugins."io.containerd.grpc.v1.cri".containerd]
default_runtime_name = "runc"
disable_snapshot_annotations = true
discard_unpacked_layers = false
ignore_rdt_not_enabled_errors = false
no_pivot = false
snapshotter = "native"
查看插件启动状态
[root@k8s-node02 k8s-install]# ctr plugin ls
TYPE ID PLATFORMS STATUS
io.containerd.grpc.v1 cri linux/amd64 ok
2 单独设置一个分区，将ftype=1
格式化xfs分区并且设置ftype=1
mkfs.xfs -f -n ftype=1 /dev/sda3
挂在分区
# 临时挂在
mount /dev/sda3 /var/lib/containerd
# 永久挂在
vi /etc/fstab
查看插件启动状态
[root@k8s-node02 k8s-install]# ctr plugins ls
TYPE ID PLATFORMS STATUS
io.containerd.content.v1 content - ok
io.containerd.snapshotter.v1 aufs linux/amd64 skip
io.containerd.snapshotter.v1 btrfs linux/amd64 skip
io.containerd.snapshotter.v1 devmapper linux/amd64 error
io.containerd.snapshotter.v1 native linux/amd64 ok
io.containerd.snapshotter.v1 overlayfs linux/amd64 ok
六、私有云配置
单机命令 ctr image pull 不起作用，crictl pull 起作用。
[plugins."io.containerd.grpc.v1.cri".registry]
config_path = ""
[plugins."io.containerd.grpc.v1.cri".registry.auths]
[plugins."io.containerd.grpc.v1.cri".registry.configs]
[plugins."io.containerd.grpc.v1.cri".registry.headers]
[plugins."io.containerd.grpc.v1.cri".registry.mirrors]
# 镜像地址
[plugins."io.contianerd.grpc.v1.cri".registry.mirrors."harborcloud.com"]
endpoint = ["https://harborcloud.com"]
# 镜像地址配置
[plugins."io.containerd.grpc.v1.cri".registry.configs."harborcloud.com".tls]
#跳过验证
insecure_skip_verify = true
crictl pull harborcloud.com/library/nginx:1.9.1
七、配置文件
配置文件生成
[root@k8s-node02 k8s-install]# mkdir /etc/containerd
[root@k8s-node02 k8s-install]# cd /etc/containerd
[root@k8s-node02 containerd]# containerd config default > config.toml
[root@k8s-node02 containerd]# vi config.toml
八 containerd基础命令
ctr
CTR是一个不受支持的用于交互的调试和管理客户机使用containerd守护进程。因为它不受支持，命令， 选项和操作不保证向后兼容或在集装箱项目的不同版本之间保持稳定。
[root@k8s-node02 k8s-install]# ctr --help
USAGE:
ctr [global options] command [command options] [arguments...]
COMMANDS:
plugins, plugin 提供有关容器插件的信息，例如：ctr plugin ls
version 版本信息
containers, c, container 管理容器
content 管理内容
events, event 事件显示容器事件
images, image, i 管理镜像
leases 管理租赁
namespaces, namespace, ns 管理命名空间
pprof 为containerd提供golang Pprof输出
run 运行容器
snapshots, snapshot 管理快照
tasks, t, task 管理任务
install 安装一个新的包
oci OCI tools
shim 与shim直接交互
help, h Shows a list of commands or help for one command
GLOBAL OPTIONS:
--debug 打开日志的调试输出
--address value, -a value containerd的GRPC服务器地址 (default: "/run/containerd/containerd.sock") [$CONTAINERD_ADDRESS]
--timeout value CTR命令的总超时时间(默认值:0)
--connect-timeout value 连接到容器的超时时间(默认值:0)
--namespace value, -n value 命名空间与命令一起使用 (default: "default") [$CONTAINERD_NAMESPACE]
--help, -h show help
--version, -v 打印版本
查看镜像
ctr images list 或 ctr i ls
# 查看指定命名空间下的镜像
ctr -n k8s.io images list
命名空间查看
ctr namespaces list 或 ctr ns list
镜像标记
ctr -n k8s.io images tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.2 k8s.gcr.io/pause:3.2
删除镜像
ctr -n k8s.io images rm k8s.gcr.io/pause:3.2
拉取镜像
ctr images pull docker.io/library/redis:latest
# 指定命名空间并且检查镜像是否有效
ctr -n k8s.io images pull -k k8s.gcr.io/pause:3.2
导出镜像
ctr -n k8s.io images export pause.tar k8s.gcr.io/pause:3.2
导入镜像
不支持 build,commit 镜像
ctr -n k8s.io i import pause.tar
运行容器
ctr -n k8s.io run --null-io --net-host -d –env PASSWORD=$drone_password –mount type=bind,src=/etc,dst=/host-etc,options=rbind:rw –mount type=bind,src=/root/.kube,dst=/root/.kube,options=rbind:rw $image sysreport bash /sysreport/run.sh
–null-io: 将容器内标准输出重定向到/dev/null
–net-host: 主机网络
-d: 当task执行后就进行下一步shell命令,如没有选项,则会等待用户输入,并定向到容器内
查看容器
ctr containers list 或 ctr c ls
# 指定命名空间
ctr -n k8s.io c ls
任务查看
ctr -n k8s.io tasks list
停止容器
kill -a -s 9 {id}
创建静态容器
$ ctr container create docker.io/library/nginx:latest nginx
$ ctr task ls
TASK PID STATUS
开启任务
方式一：
# 开启任务
[root@k8s-node02 k8s-install]# ctr task start -d nginx
[root@k8s-node02 k8s-install]
# 查看进程列表
[root@k8s-node02 k8s-install]# ctr task list
TASK PID STATUS
nginx 0 RUNNING
#查看指定进程
[root@k8s-node02 k8s-install]# ctr task ps nginx
PID INFO
3679 -
3718 -
3719 -
# 查看本机对应的进程
[root@k8s-node02 k8s-install]# ps -ef|grep 3679
root 3679 3659 0 15:27 ? 00:00:00 nginx: master process nginx -g daemon off;
101 3718 3679 0 15:27 ? 00:00:00 nginx: worker process
101 3719 3679 0 15:27 ? 00:00:00 nginx: worker process
root 3740 1111 0 15:29 pts/0 00:00:00 grep --color=auto 3679
# ctr task exec 进入容器，id随便写就行，需要将其唯一
[root@k8s-node02 k8s-install]# ctr task exec --exec-id 1 -t nginx /bin/sh
方式二：（一键开启）
[root@localhost runc]# ctr run -d --net-host docker.io/library/nginx:latest nginx
[root@localhost runc]# ctr task exec --exec-id $RANDOM -t nginx /bin/sh
crictl
[root@k8s-node02 k8s-install]# crictl --help
NAME:
crictl - client for CRI
USAGE:
crictl [global options] command [command options] [arguments...]
COMMANDS:
attach 连接到一个运行的容器
create 创建一个新容器
exec 在运行的容器中运行命令
version 显示运行时版本信息
images, image, img 镜像
inspect 显示一个或多个容器的状态
inspecti 返回一个或多个镜像的状态
imagefsinfo 返回映像文件系统信息
inspectp 显示一个或多个pod的状态
logs 获取容器日志
port-forward 将本地端口转发给pod
ps 容器列表
pull 拉去镜像
run 在沙箱中运行一个新容器
runp 运行一个新pod
rm 移除container
rmi 移除镜像
rmp 移除pod
pods pods列表
start 启动一个或多个已创建的容器
info 启动一个或多个创建的容器显示容器运行时的信息
stop 停止一个或多个运行中的容器
stopp 停止一个或多个运行中的pod
update 更新一个或多个运行中的容器
config Get and set crictl client configuration options
stats 列出容器资源使用统计信息
statsp 列出pod资源使用统计信息
completion 输出shell完成代码
help, h Shows a list of commands or help for one command
GLOBAL OPTIONS:
--config value, -c value Location of the client config file. If not specified and the default does not exist, the program's directory is searched as well (default: "/etc/crictl.yaml") [$CRI_CONFIG_FILE]
--debug, -D Enable debug mode (default: false)
--image-endpoint value, -i value Endpoint of CRI image manager service (default: uses 'runtime-endpoint' setting) [$IMAGE_SERVICE_ENDPOINT]
--runtime-endpoint value, -r value Endpoint of CRI container runtime service (default: uses in order the first successful one of [unix:///var/run/dockershim.sock unix:///run/containerd/containerd.sock unix:///run/crio/crio.sock unix:///var/run/cri-dockerd.sock]). Default is now deprecated and the endpoint should be set instead. [$CONTAINER_RUNTIME_ENDPOINT]
--timeout value, -t value Timeout of connecting to the server in seconds (e.g. 2s, 20s.). 0 or less is set to default (default: 2s)
--help, -h show help (default: false)
--version, -v print the version (default: false)
拉取镜像
crictl pull docker.io/library/redis:latest
查看运行的容器
crictl ps
查看运行中的pod
crictl pods
查看pod详细信息
crictl inspectp eea1584366c1d
查看容器详细信息
crictl inspect 5389d4e04a974
查看容器镜像详细信息
crictl inspecti 70f5e18fddce8
九 异常问题
（1）问题一
runc: symbol lookup error: runc: undefined symbol: seccomp_notify_respond
解决方式一：源码编译runc
yum install -y epel-release
yum install -y golang
yum install -y libseccomp-devel
git clone https://github.com/opencontainers/runc
cd runc
make&& make install
解决方式二：
[root@k8s-node02 k8s-install]# ctr task start -d nginx
ctr: failed to create shim task: OCI runtime create failed: unable to retrieve OCI runtime error (open /run/containerd/io.containerd.runtime.v2.task/default/nginx/log.json: no such file or directory): runc did not terminate successfully: exit status 127: unknown
[root@k8s-node02 k8s-install]# runc
runc: symbol lookup error: runc: undefined symbol: seccomp_notify_respond
这个是说缺少依赖包libseccomp，需要注意的是centos7中yum下载的版本是2.3的，版本不满足我们最新containerd的需求，需要下载2.4以上的
卸载
libseccomp-2.3.1-0.el7.x86_64 libseccomp-devel-2.3.1-0.el7.x86_64
重新安装2.5
$ wget http://rpmfind.net/linux/centos/8-stream/BaseOS/x86_64/os/Packages/libseccomp-2.5.1-1.el8.x86_64.rpm
$ rpm -ivh libseccomp-2.5.1-1.el8.x86_64.rpm
查看结果
[root@k8s-node02 k8s-install]# runc
NAME:
runc - Open Container Initiative runtime
[root@k8s-node02 k8s-install]# ctr task start -d nginx
上面两种方式都会出现还是UNKNOWN，可能需要删除一些数据rm -rf /run/containerd/io.containerd.runtime.v2.task/default/nginx/rootfs/*
[root@k8s-node02 k8s-install]# ctr task list
TASK PID STATUS
nginx 0 UNKNOWN
修改后
[root@k8s-node02 runc]# ctr task list
TASK PID STATUS
nginx 5861 RUNNING
（2）问题二
ctr: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: error mounting “/etc/hosts” to rootfs at “/etc/hosts”: possibly malicious path detected – refusing to operate on /etc/hosts: unknown
重启一下
推荐文章：
通过nginx+xray搭建科学上网服务器 - 汇思班 (huisiban.com)
containerd 如何配置 Proxy? - 汇思班 (huisiban.com)
ctr命令的基本使用与技巧 - 汇思班 (huisiban.com)
crictl命令的基本使用 - 汇思班 (huisiban.com)
1105
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
