Containerd方式部署K8s集群

已于 2024-08-26 21:43:07 修改
阅读量1.1k 收藏 17
点赞数 22
文章标签： kubernetes 容器 云原生 linux
于 2024-08-26 21:40:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_63652578/article/details/141574122
版权

1.1 集群创建说明

Kubernetes支持多种容器运行时，包括Containerd、Docker和CRI-O。以下是这三种方式的详细说明：

  • Containerd：Containerd是Kubernetes默认使用的容器运行时。它是一个轻量级的容器运行时，专为Kubernetes设计，提供了高效、稳定的容器管理能力。Containerd直接与Kubernetes集群交互，无需额外的桥接层，这使得它在性能和兼容性上都表现出色。

  • Docker：尽管Kubernetes默认情况下已经废弃了对Docker的直接支持，但是通过使用Mirantis维护的cri-dockerd插件，仍然可以实现Kubernetes集群的创建。Docker作为一个全面的容器平台，提供了丰富的功能和强大的社区支持。但是，由于Kubernetes对Docker的直接支持已经停止，因此在使用Docker时可能需要对Kubelet的启动参数进行一些调整，以确保其与Docker容器运行时正确交互。

  • CRI-O：CRI-O是一个专为Kubernetes设计的轻量级容器运行时，它直接实现了Kubernetes的容器运行时接口（CRI）。使用CRI-O创建Kubernetes集群需要安装CRI-O插件，并对Kubelet的启动参数进行配置，以指定CRI-O作为容器运行时。CRI-O专为Kubernetes优化，提供了简单、高效的容器管理功能，是一个很好的选择，特别是对于希望最大化Kubernetes集群性能和资源利用率的用户

注意：

Kubernetes 1.24版本引入了许多新特性和改进，以下是一些重要的更新：

  • 从kubelet中移除dockershim：自1.20版本被弃用之后，dockershim组件终于在1.24的kubelet中被删除。这是确保Kubernetes项目未来发展的必要步骤。从1.24开始，用户需要使用其他受支持的运行时选项，例如containerd或CRI-O。如果选择Docker Engine作为运行时，则需要使用cri-dockerd插件。

  • 关闭测试版API：Kubernetes 1.24版本将一些beta版API标记为废弃，转而使用稳定版API。这是为了确保API的稳定性和向后兼容性。

  • 对发布工件进行签名：为了提高安全性，Kubernetes 1.24版本引入了对发布工件的签名验证。这意味着用户可以验证下载的Kubernetes二进制文件的完整性和来源。

  • OpenAPIv3：Kubernetes 1.24版本引入了对OpenAPIv3的支持，这是一个更现代的API描述规范，提供了更丰富的元数据和更好的API文档生成能力。

  • 正式发布存储容量和卷扩展：Kubernetes 1.24版本正式发布了存储容量和卷扩展的功能，这使得用户可以更灵活地管理存储资源，并支持动态扩展存储卷。

  • NonPreemptingPriority稳定版发布：Kubernetes 1.24版本将NonPreemptingPriority策略升级为稳定版，这使得用户可以在Pod调度时使用更多的优先级控制选项。

  • 存储插件迁移：Kubernetes 1.24版本进一步支持存储插件的迁移，提供了更多的选项和工具来帮助用户迁移到新的存储解决方案。

  • gRPC探针升级为Beta版：Kubernetes 1.24版本将gRPC探针升级为Beta版，这使得用户可以利用gRPC探针进行更高效的健康检查和故障排查。

  • Kubelet证书提供程序升级至beta版：Kubernetes 1.24版本升级了Kubelet证书提供程序到Beta版，这提供了更灵活的证书管理选项，包括自动轮换和更细粒度的权限控制。

  • 上下文日志记录进入alpha阶段：Kubernetes 1.24版本引入了上下文日志记录的alpha阶段，这为用户提供了更多的日志记录选项和灵活性。

  • 避免在向服务分配IP时发生冲突：Kubernetes 1.24版本引入了避免在向服务分配IP时发生冲突的功能，这提高了服务的可用性和稳定性。

1.2 环境规划

kubernetes集群大体上分为两类：一主多从和多主多从。

  • 一主多从：一台Master节点和多台Node节点，搭建简单，但是有单机故障风险，适合用于测试环境

  • 多主多从：多台Master节点和多台Node节点，搭建麻烦，安全性高，适合用于生产环境

受资源限制，本次环境一主两从

1.3 Kubernetes基础环境部署

kubernetes有多种部署方式，目前主流的方式有kubeadm、minikube、二进制包

  • minikube：一个用于快速搭建单节点kubernetes的工具

  • kubeadm：一个用于快速搭建kubernetes集群的工具

  • 二进制包 ：从官网下载每个组件的二进制包，依次去安装，此方式对于理解kubernetes组件更加有效

  • K8s-all：主机名为三台都做

主机名IP地址系统配置
k8s-master-01192.168.110.21/24CentOS 7.94颗CPU 8G内存 100G硬盘
K8s-node-01192.168.110.22/24CentOS 7.94颗CPU 8G内存 100G硬盘
K8s-node-02192.168.110.23/24CentOS 7.94颗CPU 8G内存 100G硬盘

注意：关闭防火墙和SElinux

1.1.1 配置hosts解析和免密钥

[root@K8s-master-01 ~]# cat >> /etc/hosts << EOF
192.168.110.21 k8s-master-01
192.168.110.22 K8s-node-01
192.168.110.23 K8s-node-02
EOF
[root@K8s-master-01 ~]# scp /etc/hosts K8s-node-01:/etc/
[root@K8s-master-01 ~]# scp /etc/hosts K8s-node-02:/etc/
​
# master节点可以免密钥访问其他节点
[root@k8s-master-01 ~]# ssh-keygen -f ~/.ssh/id_rsa -N '' -q
[root@k8s-master-01 ~]# ssh-copy-id k8s-node-01
[root@k8s-master-01 ~]# ssh-copy-id k8s-node-02

1.1.2 配置NTP时间服务

[root@K8s-master-01 ~]# sed -i '3,6 s/^/# /' /etc/chrony.conf
[root@K8s-master-01 ~]# sed -i '6 a server ntp.aliyun.com iburst' /etc/chrony.conf
[root@K8s-master-01 ~]# systemctl restart chronyd.service
[root@K8s-master-01 ~]# chronyc sources
210 Number of sources = 1
MS Name/IP address         Stratum Poll Reach LastRx Last sample               
===============================================================================
^* 201.107.6.88                  2   6    17    18   +266us[+1386us] +/-   24ms

[root@K8s-node-01 ~]# sed -i '3,6 s/^/# /' /etc/chrony.conf
[root@K8s-node-01 ~]# sed -i '6 a server ntp.aliyun.com iburst' /etc/chrony.conf
[root@K8s-node-01 ~]# systemctl restart chronyd.service
[root@K8s-node-01 ~]# chronyc sources
210 Number of sources = 1
MS Name/IP address         Stratum Poll Reach LastRx Last sample               
===============================================================================
^* 201.107.6.88                  2   6    17    18   +266us[+1386us] +/-   24ms

[root@K8s-node-02 ~]# sed -i '3,6 s/^/# /' /etc/chrony.conf
[root@K8s-node-02 ~]# sed -i '6 a server ntp.aliyun.com iburst' /etc/chrony.conf
[root@K8s-node-02 ~]# systemctl restart chronyd.service
[root@K8s-node-02 ~]# chronyc sources
210 Number of sources = 1
MS Name/IP address         Stratum Poll Reach LastRx Last sample               
===============================================================================
^* 201.107.6.88                  2   6     7     1   -291us[-4455us] +/-   30ms

1.1.3 禁用Swap交换分区

由于容器设计为尽可能高效地使用资源，Kubernetes通常要求在节点上禁用swap分区，原因包括：

  • 性能问题：如前所述，使用swap会降低系统性能，这可能会影响容器的性能和稳定性。

  • 资源隔离：禁用swap可以确保容器之间的资源隔离更加清晰，避免一个容器使用过多swap空间而影响其他容器。

  • 调试和监控：禁用swap可以简化系统监控和调试，因为不需要考虑磁盘空间作为内存使用的复杂性。

[root@K8s-master-01 ~]# sed -i 's/.*swap.*/# &/' /etc/fstab
[root@K8s-node-01 ~]# sed -i 's/.*swap.*/# &/' /etc/fstab
[root@K8s-node-02 ~]# sed -i 's/.*swap.*/# &/' /etc/fstab

1.1.4 升级操作系统内核

注意：三台机器同时做

[root@k8s-all ~]# wget -c http://mirrors.coreix.net/elrepo-archive-archive/kernel/el7/x86_64/RPMS/kernel-ml-6.0.3-1.el7.elrepo.x86_64.rpm
[root@k8s-all ~]# wget -c http://mirrors.coreix.net/elrepo-archive-archive/kernel/el7/x86_64/RPMS/kernel-ml-devel-6.0.3-1.el7.elrepo.x86_64.rpm

  • 安装并设置启动顺序

[root@k8s-all ~]# rpm -ivh kernel-ml-6.0.3-1.el7.elrepo.x86_64.rpm
[root@k8s-all ~]# rpm -ivh kernel-ml-devel-6.0.3-1.el7.elrepo.x86_64.rpm
[root@k8s-all ~]# awk -F\' '$1=="menuentry " {print $2}' /etc/grub2.cfg
CentOS Linux (6.0.3-1.el7.elrepo.x86_64) 7 (Core)
CentOS Linux (1.10.0-1160.119.1.el7.x86_64) 7 (Core)
CentOS Linux (1.10.0-1160.71.1.el7.x86_64) 7 (Core)
CentOS Linux (0-rescue-35f6b014eff0419881bbf71f1d9d4943) 7 (Core)
[root@k8s-all ~]# grub2-set-default 0

  • 重启生效

[root@k8s-all ~]# reboot
[root@k8s-all ~]# uname -r
6.0.3-1.el7.elrepo.x86_64

1.1.5 开启内核路由转发

[root@K8s-all ~]# sysctl -w net.ipv4.ip_forward=1
net.ipv4.ip_forward = 1
[root@K8s-all ~]# modprobe br_netfilter
[root@k8s-all ~]# echo net.ipv4.ip_forward = 1 >> /etc/sysctl.conf 
[root@k8s-all ~]# sysctl -p
net.ipv4.ip_forward = 1

1.1.6 添加网桥过滤及内核转发配置文件

[root@K8s-all ~]# cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
vm.swappiness = 0
EOF
[root@K8s-all ~]# modprobe br-netfilter
[root@K8s-all ~]# sysctl -p /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
vm.swappiness = 0

1.1.7 开启IPVS

[root@K8s-all ~]# yum install ipset ipvsadm -y
[root@K8s-all ~]# cat >> /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash

ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_vip ip_vs_sed ip_vs_ftp nf_conntrack"

for kernel_module in $ipvs_modules; 
do
        /sbin/modinfo -F filename $kernel_module >/dev/null 2>&1
        if [ $? -eq 0 ]; then
                /sbin/modprobe $kernel_module
        fi
done

chmod 755 /etc/sysconfig/modules/ipvs.modules
EOF

[root@K8s-all ~]# bash /etc/sysconfig/modules/ipvs.modules

1.1.8 配置国内镜像源

[root@K8s-all ~]# cat >> /etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

1.1.9 安装软件包

[root@K8s-all ~]# yum install kubeadm kubelet kubectl -y
[root@k8s-all ~]# kubeadm version
kubeadm version: &version.Info{Major:"1", Minor:"28", GitVersion:"v1.28.2", GitCommit:"89a4ea3e1e4ddd7f7572286090359983e0387b2f", GitTreeState:"clean", BuildDate:"2023-09-13T09:34:32Z", GoVersion:"go1.20.8", Compiler:"gc", Platform:"linux/amd64"}

#为了实现docker使用的cgroupdriver与kubelet使用的cgroup的一致性，修改如下文件内容
[root@K8s-all ~]# cat <<EOF > /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"
EOF

[root@K8s-all ~]# systemctl enable kubelet.service --now

1.1.10 kubectl命令自动补全

[root@K8s-all ~]# yum install -y bash-completion
[root@K8s-all ~]# source /usr/share/bash-completion/bash_completion
[root@K8s-all ~]# source <(kubectl completion bash)
[root@K8s-all ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc

  • 做完基础环境，创建快照，后续会分别使用四种不同方式创建集群。

1.4 Containerd方式部署K8s集群

注意：基于1.3 Kubernetes基础环境部署

1.4.1 Containerd安装部署

1.4.1.1 安装基本工具
[root@K8s-all ~]# yum install yum-utils device-mapper-persistent-data lvm2 -y
1.4.1.2 下载Docker-ce的源
[root@K8s-all ~]# wget -O /etc/yum.repos.d/docker-ce.repo https://mirrors.huaweicloud.com/docker-ce/linux/centos/docker-ce.repo
1.4.1.3 替换仓库源
[root@K8s-all ~]# sed -i 's+download.docker.com+mirrors.huaweicloud.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo 
[root@K8s-all ~]# sed -i 's/$releasever/7Server/g' /etc/yum.repos.d/docker-ce.repo
1.4.1.4 安装Containerd
[root@K8s-all ~]# yum install containerd -y
1.4.1.5 初始化默认配置
[root@K8s-all ~]# containerd config default | tee /etc/containerd/config.toml
[root@K8s-all ~]# sed -i "s#SystemdCgroup\ \=\ false#SystemdCgroup\ \=\ true#g" /etc/containerd/config.toml
[root@K8s-all ~]# sed -i "s#registry.k8s.io#registry.aliyuncs.com/google_containers#g" /etc/containerd/config.toml

#配置crictl
[root@K8s-all ~]# cat <<EOF | tee /etc/crictl.yaml
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 10
debug: false
EOF
[root@K8s-all ~]# systemctl daemon-reload
[root@K8s-all ~]# systemctl restart containerd
[root@K8s-all ~]# systemctl enable containerd
1.4.1.6 测试
[root@K8s-node-02 ~]# crictl pull nginx:alpine
Image is up to date for sha256:f4215f6ee683f29c0a4611b02d1adc3b7d986a96ab894eb5f7b9437c862c9499
[root@K8s-node-02 ~]# crictl images
IMAGE                     TAG                 IMAGE ID            SIZE
docker.io/library/nginx   alpine              f4215f6ee683f       20.5MB
[root@K8s-node-02 ~]# crictl rmi nginx:alpine
Deleted: docker.io/library/nginx:alpine

1.4.2 初始化Master节点

[root@K8s-master-01 ~]# kubeadm init --apiserver-advertise-address=192.168.110.21 --apiserver-bind-port=6443 --cri-socket="unix:///var/run/containerd/containerd.sock" --image-repository registry.aliyuncs.com/google_containers --kubernetes-version=1.24.2 --pod-network-cidr=10.244.0.0/16 --service-cidr=10.96.0.0/12
重要输出结果
Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.110.21:6443 --token 5vvo64.efx6hh9fgs241rpd \
        --discovery-token-ca-cert-hash sha256:c45394687f8bfe23150c1eede9768af735c1dd4bced577c1408f8845ace89569
参数作用缺省配置供的配置
--apiserver-advertise-addressAPI 服务器绑定的 IP 地址，用于集群内节点通信。Master 主机 IP192.168.110.21
--apiserver-bind-portAPI 服务器监听的端口。64436443
--cri-socket指定容器运行时接口（CRI）的 socket 文件路径。unix:///var/run/containerd/containerd.sock
--control-plane-endpoint控制面地址，通常为 master 的 VIP 和端口。master_vip:6440（未提供，通常不需要手动指定，除非使用高可用配置）
--image-repository选择拉取镜像的仓库。k8s.gcr.ioregistry.aliyuncs.com/google_containers
--kubernetes-version选择要安装的 Kubernetes 版本。stable-11.24.2
--pod-network-cidr指定 Pod 网络的 CIDR，用于集群内 Pod 通信。10.244.0.0/1610.244.0.0/16
--service-cidr指定 Kubernetes 服务的 IP 范围，用于服务发现。10.96.0.0/1210.96.0.0/12

  • 加入指令可以通过如下命令重复获取

[root@K8s-master-01 ~]# kubeadm token create --print-join-command
kubeadm join 192.168.110.21:6443 --token ew9q7c.i86isio9knu36hm5 --discovery-token-ca-cert-hash sha256:c45394687f8bfe23150c1eede9768af735c1dd4bced577c1408f8845ace89569

  • 初始化失败可以用 reset 指令重置，解决问题后重新初始化

[root@K8s-master-01 ~]# kubeadm reset

  • token 失效处理

1、重新生成 token:
使用 kubeadm token create 命令可以创建一个新的 token，用于加入集群。这个命令会输出一个 token，格式通常是 abcdef.0123456789abcdef。

[root@K8s-master-01 ~]# kubeadm token create
abcdef.0123456789abcdef

2、获取 ca 证书 sha256 编码 hash 值:
要将节点加入集群，需要提供集群的 CA 证书的 SHA256 哈希值。这可以通过以下命令获得：

[root@K8s-master-01 ~]# openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
b615fccddcd4e80fc6f9c5e477bfc7a053b017660b73fdeccf89c559739664d7
这条命令的作用是：

- 使用 openssl x509 提取 CA 证书的公钥部分。
- 通过 openssl rsa 将公钥从 PEM 格式转换为 DER 格式。
- 使用 openssl dgst 计算 DER 格式公钥的 SHA256 哈希值。
- 使用 sed 命令去除哈希值前面的任何文本，只保留哈希值本身。
- 将新的 node 节点加入到 k8s 集群中:

3、使用 kubeadm join 命令将节点加入到集群。您需要提供主节点的 IP 地址和端口（默认为 6443），加入 token，以及 CA 证书的哈希值。

$ kubeadm join 主机IP地址:6443 --token abcdef.0123456789abcdef \
  --discovery-token-ca-cert-hash sha256:b615fccddcd4e80fc6f9c5e477bfc7a053b017660b73fdeccf89c559739664d7
请注意，命令中的 主机IP地址 应该替换为您的 Kubernetes 主节点的实际 IP 地址。同时，CA 证书哈希值应该是完整的哈希值，您提供的哈希值在中间被截断了，实际使用时应确保它是完整的。

1.4.3 添加Worker节点

1.4.1.1 Master执行

注意：这些都是初始化生成的内容，直接粘贴就好

[root@K8s-master-01 ~]# mkdir -p $HOME/.kube
[root@K8s-master-01 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@K8s-master-01 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
[root@K8s-master-01 ~]# export KUBECONFIG=/etc/kubernetes/admin.conf
1.4.1.2 Node执行
[root@K8s-node-01 ~]# kubeadm join 192.168.110.21:6443 --token 5vvo64.efx6hh9fgs241rpd \
--discovery-token-ca-cert-hash sha256:c45394687f8bfe23150c1eede9768af735c1dd4bced577c1408f8845ace89569 

[root@K8s-node-02 ~]# kubeadm join 192.168.110.21:6443 --token 5vvo64.efx6hh9fgs241rpd \
--discovery-token-ca-cert-hash sha256:c45394687f8bfe23150c1eede9768af735c1dd4bced577c1408f8845ace89569

1.4.4 查看集群

[root@K8s-master-01 ~]# kubectl get nodes  #状态为Ready
NAME             STATUS     ROLES           AGE   VERSION
k8s-master-01    NoReady    control-plane   12m   v1.28.2
k8s-node-01      NoReady    <none>          11m   v1.28.2
k8s-node-02      NoReady    <none>          11m   v1.28.2

1.4.5 安装网络插件

[root@k8s-all ~]# crictl pull docker.io/calico/cni:v1.25.0
[root@k8s-all ~]# crictl pull docker.io/calico/node:v1.25.0
[root@k8s-all ~]# crictl pull docker.io/calico/kube-controllers:v1.25.0
[root@k8s-master-01 ~]# wget -c https://gitee.com/kong-xiangyuxcz/svn/releases/download/V1.25.0/calico.yaml

[root@k8s-master-01 ~]# kubectl apply -f calico.yaml

1.4.6 检查

[[root@K8s-master-01 ~]# kubectl get nodes  #状态为Ready
NAME             STATUS   ROLES           AGE   VERSION
k8s-master-01    Ready    control-plane   12m   v1.28.2
k8s-node-01      Ready    <none>          11m   v1.28.2
k8s-node-02      Ready    <none>          11m   v1.28.2

[root@K8s-master-01 ~]# kubectl get pods -n kube-system   #网络正常，如果没用全部Running就稍等片刻
NAME                                       READY   STATUS    RESTARTS   AGE
calico-kube-controllers-658d97c59c-qcht6   1/1     Running   0          10m
calico-node-gqx2x                          1/1     Running   0          10m
calico-node-rj64n                          1/1     Running   0          10m
calico-node-xkphs                          1/1     Running   0          10m
coredns-66f779496c-rvgqq                   1/1     Running   0          13m
coredns-66f779496c-vvxxk                   1/1     Running   0          13m
etcd-k8s-master-01                         1/1     Running   0          13m
kube-apiserver-k8s-master-01               1/1     Running   0          13m
kube-controller-manager-k8s-master-01      1/1     Running   0          13m
kube-proxy-dw4tq                           1/1     Running   0          11m
kube-proxy-n6x4f                           1/1     Running   0          11m
kube-proxy-pc8tq                           1/1     Running   0          13m
kube-scheduler-k8s-master-01               1/1     Running   0          13m

1.5 Docker方式部署K8s集群

注意：基于1.3 Kubernetes基础环境部署

1.5.1 Docker安装部署

1.5.1.1 安装镜像源
[root@K8s-all ~]# wget -O /etc/yum.repos.d/docker-ce.repo https://mirrors.huaweicloud.com/docker-ce/linux/centos/docker-ce.repo
[root@K8s-all ~]# sed -i 's+download.docker.com+mirrors.huaweicloud.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo
[root@K8s-all ~]# sed -i 's/$releasever/7Server/g' /etc/yum.repos.d/docker-ce.repo
1.5.1.2 安装Docker-ce
[root@K8s-all ~]# yum install docker-ce -y
1.5.1.3 配置镜像加速器
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://lfhqfxbn.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

[root@K8s-all ~]# docker --version
Docker version 20.10.21, build baeda1f

1.5.2 安装cri-dockererd插件

注意：K8s从1.24版本后不支持docker了所以这里需要用cri-dockererd

下载地址:https://github.com/Mirantis/cri-dockerd/releases/download/

[root@K8s-all ~]# wget -c https://github.com/Mirantis/cri-dockerd/releases/download/v0.1.13/cri-dockerd-0.1.13-1.el7.x86_64.rpm
[root@K8s-all ~]# yum install cri-dockerd-0.1.13-1.el7.x86_64.rpm -y
[root@K8s-all ~]# sed -i 's#^ExecStart=.*#ExecStart=/usr/bin/cri-dockerd --network-plugin=cni --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:1.9#' /usr/lib/systemd/system/cri-docker.service
[root@K8s-all ~]# systemctl daemon-reload
[root@K8s-all ~]# systemctl restart docker
[root@K8s-all ~]# systemctl enable --now cri-docker.service

1.5.3 初始化Master节点

[root@K8s-master-01 ~]# kubeadm init --kubernetes-version=v1.28.2 --pod-network-cidr=10.224.0.0/16 --apiserver-advertise-address=192.168.110.21 --apiserver-bind-port=6443 --cri-socket unix:///var/run/cri-dockerd.sock --image-repository registry.aliyuncs.com/google_containers

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.110.21:6443 --token p6zmgi.oepmiwbmg61704br \
        --discovery-token-ca-cert-hash sha256:4688b4812501fe5b1e7d545ba2d7f4f077cf22ef9a139bf9e7229f2109354898
        
[root@K8s-master-01 ~]# mkdir -p $HOME/.kube
[root@K8s-master-01 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@K8s-master-01 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
[root@K8s-master-01 ~]# export KUBECONFIG=/etc/kubernetes/admin.conf

1.5.4 添加Worker节点

注意：加入集群时需要添加 --cri-socket unix:///var/run/cri-dockerd.sock

[root@K8s-node-01 ~]# kubeadm join 192.168.110.21:6443 --token p6zmgi.oepmiwbmg61704br \
--discovery-token-ca-cert-hash sha256:4688b4812501fe5b1e7d545ba2d7f4f077cf22ef9a139bf9e7229f2109354898 \
--cri-socket unix:///var/run/cri-dockerd.sock

[root@K8s-node-02 ~]# kubeadm join 192.168.110.21:6443 --token p6zmgi.oepmiwbmg61704br \
--discovery-token-ca-cert-hash sha256:4688b4812501fe5b1e7d545ba2d7f4f077cf22ef9a139bf9e7229f2109354898 \
--cri-socket unix:///var/run/cri-dockerd.sock

1.5.5 查看集群

[root@K8s-master-01 ~]# kubectl get nodes
NAME             STATUS     ROLES           AGE    VERSION
k8s-master-01    NotReady   control-plane   6m1s   v1.28.2
k8s-node-01      NotReady   <none>          91s    v1.28.2
k8s-node-02      NotReady   <none>          104s   v1.28.2

1.5.6 安装网络插件

[root@k8s-all ~]# docker pull docker.io/calico/cni:v1.25.0
[root@k8s-all ~]# docker pull docker.io/calico/node:v1.25.0
[root@k8s-all ~]# docker pull docker.io/calico/kube-controllers:v1.25.0

[root@k8s-master-01 ~]# wget -c https://gitee.com/kong-xiangyuxcz/svn/releases/download/V1.25.0/calico.yaml

[root@k8s-master-01 ~]# kubectl apply -f calico.yaml

1.5.7 检查

[root@K8s-master-01 ~]# kubectl get nodes  #状态为Ready
NAME             STATUS   ROLES           AGE   VERSION
k8s-master-01    Ready    control-plane   12m   v1.28.2
k8s-node-01      Ready    <none>          11m   v1.28.2
k8s-node-02      Ready    <none>          11m   v1.28.2

[root@K8s-master-01 ~]# kubectl get pods -n kube-system   #网络正常，如果没用全部Running就稍等片刻
NAME                                       READY   STATUS    RESTARTS   AGE
calico-kube-controllers-658d97c59c-qcht6   1/1     Running   0          10m
calico-node-gqx2x                          1/1     Running   0          10m
calico-node-rj64n                          1/1     Running   0          10m
calico-node-xkphs                          1/1     Running   0          10m
coredns-66f779496c-rvgqq                   1/1     Running   0          13m
coredns-66f779496c-vvxxk                   1/1     Running   0          13m
etcd-k8s-master-01                         1/1     Running   0          13m
kube-apiserver-k8s-master-01               1/1     Running   0          13m
kube-controller-manager-k8s-master-01      1/1     Running   0          13m
kube-proxy-dw4tq                           1/1     Running   0          11m
kube-proxy-n6x4f                           1/1     Running   0          11m
kube-proxy-pc8tq                           1/1     Running   0          13m
kube-scheduler-k8s-master-01               1/1     Running   0          13m

1.6 Cri-O方式部署K8s集群

注意：基于Kubernetes基础环境

1.6.1 所有节点安装配置cri-o

[root@k8s-all ~]# VERSION=1.28
[root@k8s-all ~]# curl -L -o /etc/yum.repos.d/devel:kubic:libcontainers:stable.repo https://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable/CentOS_7/devel:kubic:libcontainers:stable.repo
[root@k8s-all ~]# curl -L -o /etc/yum.repos.d/devel:kubic:libcontainers:stable:cri-o:${VERSION}.repo https://download.opensuse.org/repositories/devel:kubic:libcontainers:stable:cri-o:${VERSION}/CentOS_7/devel:kubic:libcontainers:stable:cri-o:${VERSION}.repo
[root@k8s-all ~]# yum install cri-o -y
[root@k8s-all ~]# vim /etc/crio/crio.conf 
509 pause_image = "registry.cn-hangzhou.aliyuncs.com/google_containers/pause:1.9"

548  insecure_registries = [
549         "docker.mirrors.ustc.edu.cn","dockerhub.azk8s.cn","hub-mirror.c.161.com"
550  ]

[root@k8s-all ~]# systemctl daemon-reload 
[root@k8s-all ~]# systemctl enable --now crio

  • 修改/etc/sysconfig/kubelet

[root@k8s-all ~]# vim /etc/sysconfig/kubelet 
KUBELET_EXTRA_ARGS="--container-runtime=remote --cgroup-driver=systemd --
container-runtime-endpoint='unix:///var/run/crio/crio.sock' --runtime-req
uest-timeout=5m"

[root@k8s-all ~]# systemctl daemon-reload 
[root@k8s-all ~]# systemctl restart kubelet.service

1.6.2 集群初始化

[root@k8s-master-01 ~]# kubeadm init --kubernetes-version=v1.28.2 --pod-network-cidr=10.224.0.0/16 \
--apiserver-advertise-address=192.168.110.21 \
--service-cidr=10.96.0.0/12 \
--cri-socket unix:///var/run/crio/crio.sock \
--image-repository registry.aliyuncs.com/google_containers

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.110.21:6443 --token tct0yt.1bf5docmg9loxj8m \
        --discovery-token-ca-cert-hash sha256:b504dc351e052f7ebe92162c0989088b09c2243467ee510d172187e87caf9b74

[root@k8s-master-01 ~]# mkdir -p $HOME/.kube
[root@k8s-master-01 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@k8s-master-01 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config

1.6.3 Work结点加入集群

[root@k8s-node-01 ~]# kubeadm join 192.168.110.21:6443 --token tct0yt.1bf5docmg9loxj8m \
--discovery-token-ca-cert-hash sha256:b504dc351e052f7ebe92162c0989088b09c2243467ee510d172187e87caf9b74

[root@k8s-node-02 ~]# kubeadm join 192.168.110.21:6443 --token tct0yt.1bf5docmg9loxj8m \
--discovery-token-ca-cert-hash sha256:b504dc351e052f7ebe92162c0989088b09c2243467ee510d172187e87caf9b74

1.6.4 安装网络插件

[root@k8s-master-01 ~]# wget -c https://docs.projectcalico.org/v1.25/manifests/calico.yaml
- name: CALICO_IPV4POOL_CIDR
  value: "10.244.0.0/16"

- name: CLUSTER_TYPE
  value: "k8s,bgp"   
# 下方为新增
- name: IP_AUTODETECTION_METHOD
  value: "interface=ens33"
  
[root@k8s-all ~]# crictl pull docker.io/calico/cni:v1.25.0
[root@k8s-all ~]# crictl pull docker.io/calico/node:v1.25.0
[root@k8s-all ~]# crictl pull docker.io/calico/kube-controllers:v1.25.0

[root@k8s-master-01 ~]# kubectl apply -f calico.yaml

1.6.5 检测

[root@k8s-master-01 ~]# kubectl get pod -n kube-system
NAME                                       READY   STATUS              RESTARTS   AGE
calico-kube-controllers-658d97c59c-q6b5z   1/1     Running             0          33s
calico-node-88hrv                          1/1     Running             0          33s
calico-node-ph7sw                          1/1     Running             0          33s
calico-node-ws2h5                          1/1     Running             0          33s
coredns-66f779496c-gt4zg                   1/1     Running             0          22m
coredns-66f779496c-jsqcw                   1/1     Running             0          22m
etcd-k8s-master-01                         1/1     Running             0          22m
kube-apiserver-k8s-master-01               1/1     Running             0          22m
kube-controller-manager-k8s-master-01      1/1     Running             0          22m
kube-proxy-5v4sr                           1/1     Running             0          19m
kube-proxy-b8xvq                           1/1     Running             0          22m
kube-proxy-vl5k2                           1/1     Running             0          19m
kube-scheduler-k8s-master-01               1/1     Running             0          22m

麻辣头马头
关注
  • 22
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
k57.第三章 k8s基础篇--containerd基础入门
Raymond的博客
06-12 275
1.Containerd安装 1.1 Containerd基于镜像仓库安装 1.1.1 安装步骤 安装docker-ce： #Centos [root@rocky8 ~]# yum -y install yum-utils [root@rocky8 ~]# yum-config-manager --add-repo https://mirrors.cloud.tencent.com/docker-ce/linux/centos/docker-ce.repo [root@rocky8 ~]# sed -i '
【k8s集群部署篇】使用containerd运行时部署kubernetes集群（V1.27版本）
jks212454的博客
08-02 957
【k8s集群部署】使用containerd运行时部署kubernetes集群（V1.27版本）
Containerd+K8s(kubeadm部署)+Rancher
拥抱开源 热爱分享
07-08 752
为了在 Pod 中运行容器，Kubernetes 使用容器运行时（Container Runtime）。默认情况下，Kubernetes 使用容器运行时接口（Container Runtime Interface，CRI）来与你所选择的容器运行时交互。Docker Engine 没有实现CRI， 而这是容器运行时在 Kubernetes 中工作所需要的。为此，必须安装一个额外的服务。
基于Containerd搭建k8s集群
qq_28238325的博客
06-02 1144
iptables 模式在 v1.1 中就添加支持了，从 v1.2 版本开始 iptables 就是 kube-proxy 默认的操作模式，ipvs 和 iptables 都是基于 netfilter 的，但是 ipvs 采用的是 hash 表，因此当 service 数量达到一定规模时，hash 查表的速度优势就会显现 出来，从而提高 service 的服务性能。解决：rm -rf /etc/kubernetes/kubelet.conf /etc/kubernetes/pki/ca.crt。
K8S基于Containerd安装
tianqiuhao的博客
03-28 1065
K8S搭建，基于Containerd，1个master节点，3个node节点。
Kubernetes[k8s] 最新版1.27.3 - 1.28.0安装教程,使用containerd模式
鬼斩
07-24 5353
公司使用的是交老的k8s版本（1.16），由于老版本的K8s对于现在很多新特性不支持，所以需要升级到新版本。目前2023年7月11日最新版本的k8s是v1.27.3。通过参考官方文档进行k8s部署工作。其中涉及到操作系统配置、防火墙配置、私有镜像仓库等。
centos7基于containerd部署搭建k8s集群完整步骤保姆级文档
cd1210的博客
08-16 1445
centos7基于containerd部署搭建k8s集群完整步骤保姆级文档
OpenEuler系统中基于containerd部署最新版k8s集群（V1.30.0）
最新发布
08-30
在国产操作系统OpenEuler中基于containerd部署最新版k8s集群（V1.30.0），其中部署的一些坑文档中都有详细描述。个人学习时记录，绝对原创！绝对保真！
【k8s集群部署篇】使用containerd运行时部署kubernetes集群（V1.23版本）
jks212454的博客
06-21 641
kubernetes集群搭建详细教程
k8s最新版本1.24.3基于containerd搭建集群，集成buildkit、nerdctl构建镜像，jenkins自动化。
08-03
1、k8s最新版本1.24.3基于containerd搭建集群 2、集成buildkit、nerdctl工具构建镜像 3、基于Oracle JDK11，使用jlink工具精简JRE包，自定义容器镜像 4、部署基于NFS的StorageClass，作为共享存储，Docker Registry...
k8s单节点部署，容器运行时使用containerd
qq_50247813的博客
04-07 1949
https://github.com/containerd/containerd/blob/main/docs/getting-started.md#advanced-topics 官网安装指南。将containerd.service文件移动到 /usr/local/lib/systemd/system/ 目录下。安装包路径：https://github.com/containerd/containerd/releases。这里使用阿里云的yum源进行安装目录最新的版本为1.28。
使用Containerd搭建K8s集群【v1.25】
贾文超的博客
03-03 1874
k8s的1.25部署
containerd版安装k8s
weixin_42562106的博客
07-21 2511
内核调整 cat > /etc/sysctl.d/k8s.conf <<EOF net.bridge.bridge-nf-call-iptables=1 net.bridge.bridge-nf-call-ip6tables=1 net.ipv4.ip_forward=1 net.ipv4.tcp_tw_recycle=0 vm.swappiness=0 # 禁止使用 swap 空间，只有当系统 OOM 时才允许使用它 vm.overcommit_memory=1 # 不检查物理内存是.
基于containerd安装最新k8s
qq_52949751的博客
07-19 582
k8s 1.24.3版本
【Containerd版】Kubeadm高可用安装K8s集群1.23+
杜先生的博客
01-30 2055
kubeadm containerd 高可用 集群
kubernetes（K8S）集群组件(二) ------ containerd（容器运行时）的安装和使用
09-26 1134
​ 容器技术除了docker之外，还有其它不同的容器技术，为了保证容器生态的标准和健康可持续发展，包括Linux基金会Docker、微软、红帽、谷歌、IBM和华为等公司在2015年6月共同成立了open container（OCI）组织，目的是制定开放标准的容器规范。
k8s入坑之路（3）containerd容器
muzlei的博客
06-09 1083
时间戳：2022-06-07 20:32:19 星期二 撰写文档参考：(阿良-腾讯课堂)Kubernetes将弃用Docker 参考博客k8s入坑之路(3)containerd容器 最近发下马士兵教育课程中用containerd替换docker的方式部署k8s集群 containerd概念 containerd主要是namebases与k8s docker不同 存放路径不一致 没有默认仓...
如何使用containerd作为runtime部署k8s 1.26集群
03-30
1. 确认环境： - 操作系统：CentOS 7.6.1810 - Kubernetes版本：v1.26.0 2. 安装containerd： ``` yum -y install yum-utils device-mapper-persistent-data lvm2 yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo yum install -y docker-ce docker-ce-cli containerd.io systemctl start docker systemctl enable docker ``` 3. 配置containerd： 编辑文件`/etc/containerd/config.toml`，添加以下内容： ``` [plugins.cri.containerd] snapshotter = "overlayfs" [plugins.cri.containerd.default_runtime] runtime_type = "io.containerd.runtime.v1.linux" runtime_engine = "/usr/bin/runc" runtime_root = "" [plugins.cri.containerd.untrusted_workload_runtime] runtime_type = "io.containerd.runtime.v1.linux" runtime_engine = "/usr/bin/runsc" runtime_root = "/run/containerd/untrusted" ``` 4. 配置Kubernetes： 编辑文件`/etc/kubernetes/kubelet`，添加以下内容： ``` KUBELET_EXTRA_ARGS=--container-runtime=remote --container-runtime-endpoint=unix:///run/containerd/containerd.sock ``` 5. 重启服务： ``` systemctl daemon-reload systemctl restart containerd kubelet ``` 6. 部署Kubernetes集群： 使用kubeadm工具部署Kubernetes集群，使用`--runtime-config=api/all=true`参数启用所有运行时配置： ``` kubeadm init --pod-network-cidr=10.244.0.0/16 --runtime-config=api/all=true ``` 7. 配置网络插件： 使用Flannel网络插件： ``` kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml ``` 8. 部署测试应用： ``` kubectl create deployment nginx --image=nginx kubectl expose deployment nginx --port=80 --type=NodePort ``` 9. 验证应用： 使用浏览器访问节点的IP地址和NodePort端口，应该可以看到nginx欢迎页面。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值