一步步教你快速搭建Kubernetes集群：kubeadm实践指南

1.所有节点部署docker环境

1.1 安装工具包

yum -y install wget bash-completion

1.2 解压安装包

tar xf oldboyedu-docker-compose-binary.tar.gz 

1.3 安装docker

./install-docker.sh install

1.4 查看docker版本

docker version

2.部署harbor环境

2.1 压软件包

mkdir /softwares/harbor
tar xf harbor.tar.gz -C /softwares/harbor/

2.2 所有节点配置本地文件解析

echo "10.0.0.250 harbor.oldboyedu.com" >> /etc/hosts

2.3 安装harbor环境

/softwares/harbor/install.sh

部署成功后，需要配置windows的hosts解析，并能成功访问，如下图所示。

 2.4 拷贝harbor的客户端证书文件

2.4.1 所有节点创建证书目录

mkdir -pv /etc/docker/certs.d/harbor.xmd.com/

2.4.2 将客户端证书拷贝到K8S所有节点

scp /olsoftwares/harbor/certs/docker-client/* 10.0.0.231:/etc/docker/certs.d/harbor.xmd.com/

scp /olsoftwares/harbor/certs/docker-client/* 10.0.0.232:/etc/docker/certs.d/harbor.xmd.com/

scp /olsoftwares/harbor/certs/docker-client/* 10.0.0.233:/etc/docker/certs.d/harbor.xmd.com/

2.4.3 客户端验证

docker login -u admin -p 1 harbor.xmd.com


docker logout harbor.xmd.com

3.基于kubeadm部署K8S

3.1 K8S各节点环境准备

3.1.1 虚拟机操作系统环境准备

参考链接:

https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/

3.1.2 关闭swap分区

1)临时关闭

swapoff -a && sysctl -w vm.swappiness=0

2)基于配置文件关闭

sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab

3.1.3 确保各个节点MAC地址或product_uuid唯一

ifconfig  eth0  | grep ether | awk '{print $2}'
cat /sys/class/dmi/id/product_uuid 

  温馨提示:

        一般来讲，硬件设备会拥有唯一的地址，但是有些虚拟机的地址可能会重复。

        Kubernetes使用这些值来唯一确定集群中的节点。 如果这些值在每个节点上不唯一，可能会导致安装失败。

3.1.4 检查网络节点是否互通

简而言之，就是检查你的k8s集群各节点是否互通，可以使用ping命令来测试。

3.1.5 允许iptable检查桥接流量

cat <<EOF | tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

cat <<EOF | tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
sysctl --system

3.1.6 检查端口是否被占用

参考链接: https://kubernetes.io/zh-cn/docs/reference/networking/ports-and-protocols/

3.1.7 禁用防火墙

systemctl disable --now firewalld

3.1.8 禁用selinux

sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config 
grep ^SELINUX= /etc/selinux/config

3.1.9 配置host解析

cat >> /etc/hosts <<'EOF'
10.0.0.231        k8s231.xmd.com
10.0.0.232        k8s232.xmd.com
10.0.0.233        k8s233.xmd.com
EOF
cat /etc/hosts

3.1.10 所有节点修改cgroup的管理进程为systemd

cat /etc/docker/daemon.json 
{
  "registry-mirrors": ["https://tuv7rqqq.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"]
}


systemctl restart docker



docker info | grep "Cgroup Driver"
 Cgroup Driver: systemd

温馨提示:

如果不修改cgroup的管理驱动为systemd，则默认值为cgroupfs，在初始化master节点时会失败哟！

3.2 所有节点安装kubeadm，kubelet，kubectl

3.2.1 软件包说明

你需要在每台机器上安装以下的软件包：

        kubeadm：

                用来初始化集群的指令。

        kubelet：

                在集群中的每个节点上用来启动Pod和容器等。

        kubectl：

                用来与集群通信的命令行工具。

kubeadm不能帮你安装或者管理kubelet或kubectl，所以你需要确保它们与通过kubeadm安装的控制平面(master)的版本相匹配。 如果不这样做，则存在发生版本偏差的风险，可能会导致一些预料之外的错误和问题。

然而，控制平面与kubelet间的相差一个次要版本不一致是支持的，但kubelet的版本不可以超过"API SERVER"的版本。 例如，1.7.0版本的kubelet可以完全兼容1.8.0版本的"API SERVER"，反之则不可以。

3.2.2 配置软件源

cat  > /etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
EOF

3.2.3 查看kubeadm的版本（将来你要安装的K8S时请所有组件版本均保持一致!）

yum -y list kubeadm --showduplicates | sort -r

3.2.4 安装kubeadm，kubelet，kubectl软件包

yum -y install kubeadm-1.23.17-0 kubelet-1.23.17-0 kubectl-1.23.17-0 

3.2.5 启动kubelet服务(若服务启动失败时正常现象，其会自动重启，因为缺失配置文件，初始化集群后恢复！)

systemctl enable --now kubelet
systemctl status kubelet

参考链接:

https://kubernetes.io/zh/docs/tasks/tools/install-kubectl-linux/

3.3 初始化master节点

3.3.1 使用kubeadm初始化master节点\

kubeadm init --kubernetes-version=v1.23.17 --image-repository registry.aliyuncs.com/google_containers  --pod-network-cidr=10.100.0.0/16 --service-cidr=10.200.0.0/16  --service-dns-domain=oldboyedu.com

 相关参数说明:

--kubernetes-version:

指定K8S master组件的版本号。

--image-repository:

指定下载k8s master组件的镜像仓库地址。

--pod-network-cidr:

指定Pod的网段地址。

--service-cidr:

指定SVC的网段

--service-dns-domain:

指定service的域名。若不指定，默认为"cluster.local"。

使用kubeadm初始化集群时，可能会出现如下的输出信息:

[init]

使用初始化的K8S版本。

[preflight]

主要是做安装K8S集群的前置工作，比如下载镜像，这个时间取决于你的网速。

[certs]

生成证书文件，默认存储在"/etc/kubernetes/pki"目录哟。

[kubeconfig]

生成K8S集群的默认配置文件，默认存储在"/etc/kubernetes"目录哟。

[kubelet-start]

启动kubelet，

    环境变量默认写入:"/var/lib/kubelet/kubeadm-flags.env"

    配置文件默认写入:"/var/lib/kubelet/config.yaml"

[control-plane]

使用静态的目录，默认的资源清单存放在:"/etc/kubernetes/manifests"。

此过程会创建静态Pod，包括"kube-apiserver"，"kube-controller-manager"和"kube-scheduler"

[etcd]

创建etcd的静态Pod，默认的资源清单存放在:""/etc/kubernetes/manifests"

[wait-control-plane]

等待kubelet从资源清单目录"/etc/kubernetes/manifests"启动静态Pod。

[apiclient]

等待所有的master组件正常运行。

[upload-config]

创建名为"kubeadm-config"的ConfigMap在"kube-system"名称空间中。

[kubelet]

创建名为"kubelet-config-1.22"的ConfigMap在"kube-system"名称空间中，其中包含集群中kubelet的配置

[upload-certs]

跳过此节点，详情请参考”--upload-certs"

[mark-control-plane]

标记控制面板，包括打标签和污点，目的是为了标记master节点。

[bootstrap-token]

创建token口令，例如:"kbkgsa.fc97518diw8bdqid"。

如下图所示，这个口令将来在加入集群节点时很有用，而且对于RBAC控制也很有用处哟。

[kubelet-finalize]

更新kubelet的证书文件信息

[addons]

添加附加组件，例如:"CoreDNS"和"kube-proxy”

3.3.2 拷贝授权文件，用于管理K8S集群

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config	

 3.3.3 查看集群节点

kubectl get cs

3.4 配置worker节点加入集群 

3.4.1 worker节点加入集群

kubeadm join 10.0.0.231:6443 --token jkopy0.4fnwsu5zzoeb0kq2 \
	--discovery-token-ca-cert-hash sha256:3a3bbdfd8e696a93639754fbc053b84f6821e46acfdc83a31e9215212df7f76b 

3.4.2 查看集群现有的worker节点

kubectl get no

3.5 初始化网络组件

3.5.1 查看现有的网络插件

推荐阅读:

https://kubernetes.io/docs/concepts/cluster-administration/addons/

3.5.2 下载flannel资源清单文件

wget https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml

 3.5.3 修改flannel的配置文件

grep 16 kube-flannel.yml 

 "Network": "10.244.0.0/16",

 sed -i 's#10.244#10.100#' kube-flannel.yml 

grep 16 kube-flannel.yml 

  "Network": "10.100.0.0/16",

因为我们在初始化K8S集群的时候，修改了Pod的网段。因此，这里也需要做相应修改哟。

3.5.4 部署flannel组件

kubectl apply -f kube-flannel.yml

3.5.5 验证flannel组件是否正常工作

kubectl get pods -A -o wide | grep flannel

kubectl get nodes

4.如果集群初始化失败可以重置

kubeadm reset –f

5.自动补全功能-新手必备

yum –y install bash-completion

kubectl completion bash > ~/.kube/completion.bash.inc
echo "source '$HOME/.kube/completion.bash.inc'" >> $HOME/.bash_profile
source $HOME/.bash_profile