使用kubeadm手动安装K8s

本次教程安装主要基于Ubuntu 22.04， 使用AWS EC2服务器来部署。当然，AWS也有自己的AWS K8s服务，不过需要花费小钱钱。虽然也不是说不行，但手动安装下也能熟悉K8s。

1. 安装Docker      

• 卸载旧版本：

sudo apt-get remove docker docker-engine docker.io containerd runc

• 设置仓库

        更新 apt 包索引

sudo apt-get update

        安装apt依赖包

sudo apt-get install \

    apt-transport-https \

    ca-certificates \

    curl \

    gnupg-agent \

    software-properties-common \

    gpg

        添加 Docker 的官方 GPG 密钥

curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add –

        设置稳定版仓库

sudo add-apt-repository \

   "deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/ \

   $(lsb_release -cs) \

   stable"

• 安装 Docker Engine-Community

        更新 apt 包索引

sudo apt-get update

        安装最新版本的 Docker Engine-Community 和 containerd

sudo apt-get install docker-ce docker-ce-cli containerd.io

        测试 Docker 是否安装成功，输入以下指令，能够打印出版本信息则安装成功:

sudo docker version

        设置Docker镜像加速器和驱动程序

sudo mkdir -p /etc/docker

sudo tee /etc/docker/daemon.json <<-'EOF'

{  "exec-opts": ["native.cgroupdriver=systemd"],

   "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]

}

EOF

sudo tee /etc/docker/daemon.json <<-'EOF'

{  "exec-opts": ["native.cgroupdriver=systemd"]

}

EOF

        重启服务

sudo systemctl daemon-reload

sudo systemctl restart docker

2. 前置准备

• 设置安全组

        在AWS上对每个节点设置同一安全组并在入站规则中进行绑定：

• 设置主机名

         更改每台服务器的主机名

sudo hostnamectl set-hostname "k8s-master"
sudo hostnamectl set-hostname "k8s-node1"
sudo hostnamectl set-hostname "k8s-node2"

• 关闭Swap分区

sudo sed -ri 's/.*swap.*/#&/' /etc/fstab

        查看分区是否关闭成功，如果没有输出则说明分区关闭成功

swapon -show

        若要临时关闭分区

swapoff -a

• 添加主机名

        在每个节点上添加hosts（注意换成你自己服务器的IP地址）

sudo nano /etc/hosts

        写入以下信息后退出

172.31.34.249 k8s-master

172.31.37.96 k8s-node1

172.31.47.59 k8s-node2

• 桥接IPv4流量   

        将桥接的IPv4流量传递到iptables的链接，在每个节点添加如下的命令：

sudo nano /etc/sysctl.d/k8s.conf

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

net.ipv4.ip_forward = 1

vm.swappiness = 0

        加载br_netfilter模块

sudo modprobe br_netfilter

        查看是否加载

lsmod | grep br_netfilter

        生效

sudo sysctl –system

• 同步系统时间

        在每个节点添加时间同步

sudo apt -y install ntpdate

sudo ntpdate time.windows.com

• 开启ipvs 在每个节点安装ipset和ipvsadm

sudo apt -y install ipset ipvsadm

        在每个节点执行如下脚本

sudo cat > /etc/sysconfig/modules/ipvs.modules <<EOF

        打开写入如下内容

#!/bin/bash

modprobe -- ip_vs

modprobe -- ip_vs_rr

modprobe -- ip_vs_wrr

modprobe -- ip_vs_sh

modprobe -- nf_conntrack

EOF

        如果没有该文件夹手动创建：

sudo mkdir -p /etc/sysconfig/modules

sudo chmod 777 /etc/sysconfig/modules/

sudo cat > /etc/sysconfig/modules/ipvs.modules <<EOF

        在ipvs.modules里写入以下内容：

#!/bin/bash

modprobe -- ip_vs

modprobe -- ip_vs_rr

modprobe -- ip_vs_wrr

modprobe -- ip_vs_sh

modprobe -- nf_conntrack

EOF

• 授权、运行、检查是否加载：

sudo chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack

3. 安装kubeadm、kubelet和kubectl

注意：如果后期想要使用dashboard，请务必确认版本是否兼容，检查地址：

https://github.com/kubernetes/dashboard/releases

• 下载用于 Kubernetes公共签名密钥-每个节点

curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.29/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg

• 添加 Kubernetes apt 仓库-每个节点

echo 'deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.29/deb/ /' | sudo tee /etc/apt/sources.list.d/kubernetes.list

• 更新 apt 包索引，安装 kubelet、kubeadm 和 kubectl，并锁定其版本-每个节点：

sudo apt-get update

sudo apt-get install -y kubelet kubeadm kubectl

sudo apt-mark hold kubelet kubeadm kubectl

        保持每个节点cgroup drvier和kubelet使用的cgroup drver一致

sudo nano /etc/sysconfig/kubelet

        添加以下内容

KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"

        设置为开机自启动

systemctl enable kubelet

4. 部署k8s的Master节点

        切换到根用户下执行

sudo su -

        # 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里需要指定阿里云镜像仓库地址

kubeadm init --apiserver-advertise-address=172.31.34.249 --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.30.3 --service-cidr=10.96.0.0/12 --pod-network-cidr=10.244.0.0/16

如果初始遇到Kubeadm初始化报错：[ERROR CRI]: container runtime is not running:

 执行以下命令

rm -rf /etc/containerd/config.toml
systemctl restart containerd

根据提示信息，在Master节点上使用kubectl工具

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

5. 部署K8s的从（slave）节点

在k8s-node1和k8s-node2上分别执行以下命令：

          切换到根用户下执行

sudo su –

• 添加主节点的token以及token证书

kubeadm join 172.31.34.249:6443 --token 1umscb.zbq9wf4tef99nxkx --discovery-token-ca-cert-hash sha256:e066e73b927432e599ba7b6634e449900bc6b4858e2979a9a4749f35e1dbf30d

 6.  部署CNI网络插件

 根据提示，在Master节点使用kubectl工具查看节点状态：

kubectl get nodes

如果执行后出现couldn't get current server API group list: Get "https://xxxx /api?timeout=32s":  dial tcp xxxxxxx: connect: connection refused 错误
则没有永久关闭交换分区情况下中途退出了

解决方式：重新执行一遍关闭命令即可

sudo swapoff -a

sudo systemctl restart kubelet

• 在Master节点部署CNI网络插件

sudo kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

• 查看部署CNI网络插件进度：

kubectl get pods -n kube-system

• 再次在Master节点使用kubectl工具查看节点状态：

kubectl get nodes

这里可能会有问题，如果master节点上kube-apiserve监听的6443端口时而正常时而异常

刚部署完正常后面一直出现如下错误

The connection to the server xxxxx:6443 was refused - did you specify the right host or port?

查看CNI插件部署进度也出现CrashLoopBackOff错误的话

 

执行以下命令：

containerd config default | tee /etc/containerd/config.toml

sed -i 's/SystemdCgroup = false/SystemdCgroup = true/g' /etc/containerd/config.toml 

service containerd restart

service kubelet restart 

7. 查看集群

查看集群健康状态：

kubectl get cs

kubectl cluster-info

部署成功 ！！！(＾－＾)V