kubeadm搭建k8s集群

环境准备

虚拟机环境

10.0.0.201 k8s201.com  CentOS Linux release 7.9.2009 (Core)

10.0.0.202 k8s202.com  CentOS Linux release 7.9.2009 (Core)

10.0.0.203 k8s203.com  CentOS Linux release 7.9.2009 (Core)

参考链接：安装 kubeadm | Kubernetes
 

关闭swap分区

1.临时关闭

swapoff -a && sysctl -w vm.swappiness=0

2.基于配置文件关闭

sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab

3.确保各个节点MAC地址或product_uuid唯一

一般来讲，硬件设备会拥有唯一的地址，但是有些虚拟机的地址可能会重复。 

Kubernetes使用这些值来唯一确定集群中的节点。 如果这些值在每个节点上不唯一，可能会导致安装失败。

ifconfig  eth0  | grep ether | awk '{print $2}'
cat /sys/class/dmi/id/product_uuid 

4.配置host解析

cat >> /etc/hosts <<'EOF'
10.0.0.201        k8s201.com
10.0.0.202        k8s202.com
10.0.0.203        k8s203.com
10.0.0.101        harbor.com
EOF
cat /etc/hosts

5.检查网络节点是否互通
简而言之，就是检查你的k8s集群各节点是否互通，可以使用ping命令来测试。

ping k8s201.com
ping k8s202.com
ping k8s203.com

6.允许iptable检查桥接流量

cat <<EOF | tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

cat <<EOF | tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward  = 1
EOF
sysctl --system

7.禁用防火墙

systemctl disable --now firewalld

8.禁用selinux

sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config 
grep ^SELINUX= /etc/selinux/config

安装docker

1.配置yum安装源

curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/docker-ce.repo https://download.docker.com/linux/centos/docker-ce.repo
sed -i 's+download.docker.com+mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo

2.查看可安装的docker版本

yum list docker-ce --showduplicates

3.yum安装docker

yum -y install docker-ce-23.0.1 docker-ce-cli-23.0.1

4.安装自动补全功能

yum -y install bash-completion
source /usr/share/bash-completion/bash_completion

5.配置daocker优化

registry-mirrors：镜像仓库，用于镜像加速，可以使用个人云账户的镜像加速地址，这里提供了几个公网仓库地址。

exec-opts: docker使用的驱动程序,由于 kubeadm 把 kubelet 视为一个系统服务来管理，所以对基于 kubeadm 的安装， 推荐使用 systemd 驱动，不推荐 cgroupfs 驱动。

mkdir -pv /etc/docker && cat <<EOF | sudo tee /etc/docker/daemon.json
{
  "registry-mirrors": ["https://tuv7rqqq.mirror.aliyuncs.com","https://reg-mirror.qiniu.com","https://docker.mirrors.ustc.edu.cn/","https://hub-mirror.c.163.com/"],
  "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF

6.启动docker并设置开机自启动

systemctl enable --now docker

安装kubeadm，kubelet，kubectl

1.配置软件源

cat  > /etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
EOF

2.查看kubeadm的版本（将来你要安装的K8S时请所有组件版本均保持一致!）

yum -y list kubeadm --showduplicates | sort -r

3.安装kubeadm，kubelet，kubectl软件包

yum -y install kubeadm-1.15.12-0 kubelet-1.15.12-0 kubectl-1.15.12-0 

4.启动kubelet服务(若服务启动失败是正常现象，其会自动重启，因为缺失配置文件，初始化集群后恢复！此步骤可跳过！)

systemctl enable --now kubelet
systemctl status kubelet

参考链接：在 Linux 系统中安装并设置 kubectl | Kubernetes

初始化master和worker节点

1.查看kubeadm的版本号

kubeadm version

2.使用kubeadm初始化master节点

注意：虚拟机cpu数量虚大于2以满足k8s集群需求

初始化完成后注意保留输出信息最后两行的token信息

kubeadm init --kubernetes-version=v1.15.12 --image-repository registry.aliyuncs.com/google_containers  --pod-network-cidr=10.244.0.0/16 --service-cidr=10.254.0.0/16 --service-dns-domain=gyang.com

初始化参数说明

--kubernetes-version:
指定K8S master组件的版本号。

--image-repository:
指定下载k8s master组件的镜像仓库地址。

--pod-network-cidr:
指定Pod的网段地址。

--service-cidr:
指定SVC的网段

--service-dns-domain:
指定svc的域名。

初始化输出信息参数说明

[init] 
使用初始化的K8S版本。

[preflight] 
主要是做安装K8S集群的前置工作，比如下载镜像，这个时间取决于你的网速。

[certs] 
生成证书文件，默认存储在"/etc/kubernetes/pki"目录哟。

[kubeconfig]
生成K8S集群的默认配置文件，默认存储在"/etc/kubernetes"目录哟。

[kubelet-start] 
启动kubelet，
   环境变量默认写入:"/var/lib/kubelet/kubeadm-flags.env"
   配置文件默认写入:"/var/lib/kubelet/config.yaml"

[control-plane]
使用静态的目录，默认的资源清单存放在:"/etc/kubernetes/manifests"。
此过程会创建静态Pod，包括"kube-apiserver"，"kube-controller-manager"和"kube-scheduler"

[etcd] 
创建etcd的静态Pod，默认的资源清单存放在:""/etc/kubernetes/manifests"

[wait-control-plane] 
等待kubelet从资源清单目录"/etc/kubernetes/manifests"启动静态Pod。

[apiclient]
等待所有的master组件正常运行。

[upload-config] 
创建名为"kubeadm-config"的ConfigMap在"kube-system"名称空间中。

[kubelet] 
创建名为"kubelet-config-1.22"的ConfigMap在"kube-system"名称空间中，其中包含集群中kubelet的配置

[upload-certs] 
跳过此节点，详情请参考”--upload-certs"

[mark-control-plane]
标记控制面板，包括打标签和污点，目的是为了标记master节点。

[bootstrap-token] 
创建token口令，例如:"kbkgsa.fc97518diw8bdqid"。
这个口令将来在加入集群节点时很有用，而且对于RBAC控制也很有用处哟。

[kubelet-finalize] 
更新kubelet的证书文件信息

[addons] 
添加附加组件，例如:"CoreDNS"和"kube-proxy”

初始化完成后查看服务状态已正常

systemctl status kubelet

3.拷贝授权文件，用于管理K8S集群

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config	

4.k8s202和k8s203节点加入集群（注意你的token跟我不一样，只是和我的长得像而已）

token信息来自于master节点初始化的输出信息最后两行

kubeadm join 10.0.0.201:6443 --token d42z24.45s2nshvk623r8yf \
    --discovery-token-ca-cert-hash sha256:a095fd115cd709b644c98ead0273d4171be5b3e2c3ae5f1febb6703c6ae721ad 

5.查看节点是否加入集群

kubectl get nodes

6.添加自动补全功能

echo "source <(kubectl completion bash)" >> ~/.bashrc && source ~/.bashrc 

安装CNI网络插件flannel

1.下载网络插件

wget https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c114638878db11b/Documentation/kube-flannel.yml

2.部署flannel组件

kubectl apply -f kube-flannel.yml 

3.查看flannel组件是否正常

kubectl get pods -A -o wide | grep flannel

4.验证节点状态，此时node节点状态为notready

kubectl get cs,no

5.所有节点下载flannel可执行程序，并安装到"/opt/cni/bin/" 

wget https://github.com/containernetworking/plugins/releases/download/v0.8.6/cni-plugins-linux-amd64-v0.8.6.tgz
tar xf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin/ ./flannel

6.再次验证节点状态，此时node节点状态为ready

kubectl get cs,no