Linux下使用Kubeadm工具部署Kubernetes集群

部署前准备

1. 关闭防火墙

systemctl disable --now firewalld

2. 禁用交换分区

swapoff -a

sed -i '/swap/s/^/#/' /etc/fstab

3. 禁用SELINUX

将 SELinux 设置为 permissive 模式（相当于将其禁用）

setenforce 0

sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

4. 允许 iptables 检查桥接流量

cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sysctl --system

安装Docker容器运行时

可以参考Docker官方网站进行安装；
网速不好，下载离线包，选择你的CentOS版本。然后浏览到x86_64/stable/Packages/下载你想要安装的Docker版本的.rpm文件。

如果存在旧版Docker则先进行卸载：

yum remove docker \
           docker-client \
           docker-client-latest \
           docker-common \
           docker-latest \
           docker-latest-logrotate \
           docker-logrotate \
           docker-engine

使用yum进行安装：

• step1: 设置存储库（这里我们使用阿里云提供的镜像仓库）

yum install -y yum-utils

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

• step2: 安装Docker引擎
• • step2.1: 安装指导版本Docker引擎（可选，可以直接执行2.1步骤安装最新版）

yum list docker-ce --showduplicates | sort -r

docker-ce.x86_64 3:18.09.1-3.el7
docker-ce-stable docker-ce.x86_64 3:18.09.0-3.el7
docker-ce-stable docker-ce.x86_64 18.06.3.ce-3.el7
docker-ce-stable docker-ce.x86_64 18.06.2.ce-3.el7
docker-ce-stable 通过它的完全限定包名安装特定版本，它是包名(docker-ce)加上版本字符串(第二列)，从第一个冒号(:)开始，直到第一个连字符，由连字符(-)分隔。 例如:docker-ce-18.09.1 yum install -y
docker-ce-<VERSION_STRING> docker-ce-cli-<VERSION_STRING> containerd.io

• • step2.2: 安装最新版Docker

yum install -y docker-ce docker-ce-cli containerd.io

• step3: 启动并开启Docker服务

systemctl enable --now docker

修改docker国内镜像加速

• step1：修改配置文件

cat <<EOF | sudo tee /etc/docker/daemon.json
{
  "registry-mirrors": [
    "https://registry.docker-cn.com",
    "http://hub-mirror.c.163.com",
    "https://docker.mirrors.ustc.edu.cn"
  ],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2"
}
EOF

• step2：重新加载配置并重启Docker

systemctl daemon-reload

systemctl restart docker

安装 kubeadm、kubelet 和 kubectl

• step1: 设置仓库（此处使用阿里云镜像仓库）

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

• step2: 安装kubeadm、kubelet 和 kubectl

yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes

• step3: 启动并开启kubelet服务

systemctl enable --now kubelet

初始化Master节点

对于初始化master节点Kubernetes官方文档提供有多种方案，我这里使用的是配置文件的方式进行主节点的初始化工作；

结合一份配置文件来使用 kubeadm init

1.查看kubeadm默认的初始化配置文件配置详情

kubeadm config print init-defaults

# 输出如下：

apiVersion: kubeadm.k8s.io/v1beta2
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 1.2.3.4
  bindPort: 6443
nodeRegistration:
  criSocket: /var/run/dockershim.sock
  name: master.k8s
  taints:
  - effect: NoSchedule
    key: node-role.kubernetes.io/master
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns:
  type: CoreDNS
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: k8s.gcr.io
kind: ClusterConfiguration
kubernetesVersion: v1.20.0
networking:
  dnsDomain: cluster.local
  serviceSubnet: 10.96.0.0/12
scheduler: {}

2.拷贝默认配置到新的配置文件kubeadm-init.yaml并修改相应配置

# 注释部分为修改的代码

apiVersion: kubeadm.k8s.io/v1beta2
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  # Master的IP地址（当前主机的IP地址）
  advertiseAddress: 192.168.88.129
  bindPort: 6443
nodeRegistration:
  criSocket: /var/run/dockershim.sock
  name: master.k8s
  taints:
  - effect: NoSchedule
    key: node-role.kubernetes.io/master
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns:
  type: CoreDNS
etcd:
  local:
    dataDir: /var/lib/etcd
# image的仓库源（这里使用阿里云仓库）
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: v1.20.0
networking:
  dnsDomain: cluster.local
  serviceSubnet: 10.96.0.0/12
scheduler: {}

3.运行初始化配置

初始化过程中会拉取相关的镜像，查看所需拉取的镜像可以运行一下命令：
kubeadm config images list

kubeadm init --config ~/kubeadm-init.yaml

# 初始化配置成功结果
Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.88.129:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:8fd89364527a08860e795ad9025ac1d89d82cacki0671a1dbef30efvaf5e7f4a 

收尾工作

根据初始化配置成功结果来看，我们需要配置kubelet的配置文件声明，使kubelet可以使用集群；

非Root用户

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

Root用户

export KUBECONFIG=/etc/kubernetes/admin.conf

工作节点加入集群

可参考Kuernetes官方文档；

kubeadm join 192.168.88.129:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:8fd89364527a08860e795ad9025ac1d89d82cacki0671a1dbef30efvaf5e7f4a

配置集群网络

我们把工作节点加入集群，如果集群中没有安装 Pod 网络附加组件，那么集群中不同的节点上的pod是没法互相通信的，我们使用命令：kubectl get node 可以看到节点的STATUS列显示为NotReady；这里我们选择Weaveworks 的 Weave Net作为Pod 网络附加组件；

kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')"