Ubuntu16+Kubeadm方式搭建Kubernetes 1.18.3+kube-prometheus

1 Kubernetes集群机器信息

1.1 机器信息

Kubernetes集群信息：1 Master 10 Slave。

1.2 软件信息

#1.操作系统版本
OS版本：Ubuntu 16.04.6 Server
内核版本:4.4.0-142
#2.kubernetes软件相关版本
kubeadm v1.18.3
kubectl v1.18.3
kubelet v1.18.3
kube-apiserver v1.18.3
kube-scheduler v1.18.3
kube-controller-manager v1.18.3
etcd 3.4.3
kube-prometheus v0.5+

2 Kubernetes安装过程

2.1 集群初始化设置

1. 在所有机器上生成ssh key，便于集群内各个机器间通过ssh无密码访问，命令如下，
ssh-keysgen
ssh-copy-id localhost
#将密钥拷贝到各个node，方便进行免密登录
for i in `seq 1 11`;do
    scp -r ~/.ssh k8s@node$i:.
done

2. 配置各个机器配置别名，直接通过别名访问，而不必输入IP
#在当前机器的/etc/hosts文件中追加如下内容，这样本机器访问其他机器直接通过名称而不是IP
192.168.1.107   node1 master
192.168.1.104   node2
192.168.1.118   node3
192.168.1.119   node4
192.168.1.114   node5
192.168.1.109   node6
192.168.1.134   node7
192.168.1.113   node8
192.168.1.115   node9
192.168.1.51    node10
192.168.1.121   node11

3. 配置sudo免密
#1.以root身份创建一个文件为k8s，位置为/etc/sudoers.d/k8s，内容如下：
k8s ALL=( root ) NOPASSWD:ALL
#然后拷贝一份到普通用户目录下并修改权限
cp /etc/sudoers.d/k8s ~
cd ~ && chown k8s:k8s k8s
#把k8s文件广播到其他节点，这样其他节点执行sudo时也无需输入密码
for i in `seq 2 11`;do
     scp k8s node$i:.
done

4. 给机器设置主机名，便于识别机器
#进入到其他各个节点，分别执行以下命令，从而给设置其他机器的主机名，以便知道当前是在那个node上
for i in `seq 2 11`;do
     ssh node$i sudo hostnamectl set-hostname node$i
done

5. 通过node名称来访问各个主机
#拷贝hosts文件
for i in `seq 2 11`;do
     scp /etc/hosts node$i:.
     ssh node$i sudo chown root:root hosts
     ssh node$i sudo mv ~/hosts /etc/hosts
done
6. 修改apt源
新的源的内容：https://developer.aliyun.com/mirror/ubuntu
for i in `seq 2 11`;do
	 ssh node$i sudo cp /etc/apt/sources.list /etc/apt/sources.list_origin
     scp /etc/apt/sources.list node$i:.
     ssh node$i sudo chown root:root ~/sources.list
     ssh node$i sudo mv ~/sources.list /etc/apt/sources.list
done

7. 测试上面的效果
#测试sudo无需输入密码，可以运行指令sudo date
#测试ssh访问其他机器，可以运行指令ssh node3

8. 设置密钥登陆，不用密码登录，防止挖矿
#第1步：在ssh远程登录工具，如Mobaxetem中的Tools中SSH Key Generator生成密钥。
#然后追加公钥到服务器.ssh目录中的authorized_keys，具体可以参见3.4节。
#第2步：在服务器上关闭集群的密码访问方式，只允许通过密钥访问。
#第2.1步，执行sudo su命令
#第2.2步，修改/etc/ssh/sshd_config文件，将#PasswordAuthentication yes 中的#删去，同时将yes改成no，并保存退出
#第2.3步，执行systemctl restart sshd

2.1 Kubernetes安装教程

2.1.1 准备阶段

注意准备阶段的操作是在集群的所有机器上都要执行的

#1.将机器上所有的kubernetes/docker软件都卸载掉，这里可以
#通过MobaXterm的MultiExec功能完成，也可以像前面使用的for i in `seq 1 11`这种脚本
#MultiExec模式
sudo apt purge docker*
sudo apt purge kubeadm kubectl kubelet
sudo rm -rf /usr/bin/kube*
sudo apt autoremove
#shell脚本，下面类似
for i in `seq 1 11`;do
    ssh node$i sudo apt purge docker*
    ssh node$i sudo apt purge kubeadm kubectl kubelet
    ssh node$i sudo rm -rf /usr/bin/kube*
    ssh node$i sudo apt autoremove
done

#2.安装docker
curl -fsSL get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun

#3.启动docker ce
sudo systemctl enable docker
sudo systemctl start docker

#4.建立docker用户组
sudo groupadd docker
sudo usermod -aG docker $USER

#5.使用镜像加速，在/etc/docker/daemon.json中写入如下内容
sudo mkdir -p /etc/docker
sudo vim docker.json
#按下i键，将下面内容粘贴到vim打开的文件中
{
   
  "registry-mirrors": [
    "https://registry.docker-cn.com"
  ]
}

#6.重新启动服务
sudo systemctl daemon-reload
sudo systemctl restart docker

#7.禁用swap，禁用swap原因：https://github.com/kubernetes/kubernetes/issues/53533
sudo swapoff -a

#8.使用aliyun的源，注意从此之后的步骤最好使用sudo su切换
#到root模式，否则可能会出现各种问题
sudo su
apt-get update && apt-get install -y apt-transport-https curl
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF #注意从cat到EOF这是一个shell命令，这一步会
#在/etc/apt/source.list.d/目录下生成一个kubernetes的文件，文件内容就是deb https这一行。
apt-get update

#9.安装kubeadm/kubelet/kubectl
apt-cache policy #查看历史版本k8s，最新的kubenetes为1.18.4，但由于无法从阿里云和docker hub拉取kube-apiserver等镜像，所以这里安装k8s v1.18.3
apt-get install -y kubeadm=1.18.3-00 kubelet=1.18.3-00 kubectl=1.18.3-00 #可以选择其他k8s版本，还有就是
#kubernetes-cni可以先不安装，如果报错则执行apt-get 
#install kubernetes-cni=0.7.5-00以便解决无法找到cni的问题
apt-mark hold kubelet kubeadm kubectl
#获取当前版本kubeadm需要启动的镜像
kubeadm config images list
exit #切回到普通用户
#结果类似于下面的结果
#k8s.gcr.io/kube-apiserver:v1.18.3
#k8s.gcr.io/kube-controller-manager:v1.18.3
#k8s.gcr.io/kube-scheduler:v1.18.3
#k8s.gcr.io/kube-proxy:v1.18.3
#k8s.gcr.io/pause:3.2
#k8s.gcr.io/etcd:3.4.3-0
#k8s.gcr.io/coredns:1.6.7

#10.编写下载镜像的脚本install-k8s.sh，提前来取好镜像脚本内容如下：
#----------------------------install-k8s.sh开始------------------
#! /bin/bash
images=(
    kube-apiserver:v1.18.3
    kube-controller-manager:v1.18.3
    kube-scheduler:v1.18.3
    kube-proxy:v1.18.3
    pause:3.2
    etcd:3.4.3
    coredns:1.6.7
)

for imageName in ${i