K8S集群搭建记录

最近公司的部署逻辑全面转向K8S，经过一段时间学习入了下门，结合B站上K8S的学习视频在此记录一下K8S集群搭建的全过程。

环境准备

准备几台linux机器，具体几台自己看着办，我这里是三台，接着在节点机器下都执行一下以下命令，具体在哪台机器上执行可以看注释(没写的就是所以节点都执行一下)：

# 关闭防火墙
$ systemctl stop firewalld
$ systemctl disable firewalld

# 关闭selinux
# 永久关闭(我选择的是永久关闭,也能使用临时关闭)
$ sed -i 's/enforcing/disabled/' /etc/selinux/config  
# 临时关闭
$ setenforce 0  

# 关闭swap
# 临时
$ swapoff -a 
# 永久关闭(我选择的是永久关闭,也能使用临时关闭)
$ sed -ri 's/.*swap.*/#&/' /etc/fstab

# 设置节点主机名，每个节点上都执行一次
# 根据规划设置主机名【master节点上操作】
$ hostnamectl set-hostname k8smaster
# 根据规划设置主机名【node1节点操作】
$ hostnamectl set-hostname k8snode1
# 根据规划设置主机名【node2节点操作】
$ hostnamectl set-hostname k8snode2

# 在master添加hosts(ip和host根据你自己的情况而定)
$ cat >> /etc/hosts << EOF
192.168.177.130 k8smaster
192.168.177.131 k8snode1
192.168.177.132 k8snode2
EOF

# 将桥接的IPv4流量传递到iptables的链
$ cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
# 生效
$ sysctl --system

# 时间同步
$ yum install ntpdate -y
$ ntpdate time.windows.com

准备工作都做完了，我们就开始安装K8S必备的一些组件吧。

安装Docker/kubeadm/kubelet

所有节点安装Docker/kubeadm/kubelet ，Kubernetes默认CRI（容器运行时）为Docker，因此先安装Docker

安装Docker

首先配置一下Docker的阿里yum源：

$ cat >/etc/yum.repos.d/docker.repo<<EOF
[docker-ce-edge]
name=Docker CE Edge - \$basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/\$basearch/edge
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
EOF

然后yum方式安装docker:

# yum安装
$ yum -y install docker-ce

# 查看docker版本
$ docker --version  

# 启动docker
$ systemctl enable docker
$ systemctl start docker

配置docker的镜像源:

$ cat >> /etc/docker/daemon.json << EOF
{
  "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]
}
EOF

然后重启docker:

$ systemctl restart docker

添加kubernetes软件源

配置一下yum的k8s软件源:

$ cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装kubeadm，kubelet和kubectl

由于版本更新频繁，这里指定版本号部署：

# 安装kubelet、kubeadm、kubectl，同时指定版本
$ yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0
# 设置开机启动
$ systemctl enable kubelet

部署Kubernetes Master【master节点】

在master节点执行，下面的ip可以不用改：

$ kubeadm init --apiserver-advertise-address=172.20.188.173 --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.18.0 --service-cidr=10.96.0.0/12  --pod-network-cidr=10.244.0.0/16

执行完只要出现一条提示信息就表示成功

Your Kubernetes control-plane has initialized successfully!

使用kubectl工具 【master节点操作】

$ mkdir -p $HOME/.kube
$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config

执行完成后，我们使用下面命令，查看我们正在运行的节点

$ kubectl get nodes

加入Kubernetes Node【Slave节点】

下面我们需要到 node1 和 node2服务器，执行下面的代码向集群添加新节点
执行在kubeadm init输出的kubeadm join命令：

注意，以下的命令是在master初始化完成后，每个人的都不一样！！！需要复制自己生成的

$ kubeadm join 192.168.177.130:6443 --token yaq87c.pza7fy4v0qxnvz1u \
    --discovery-token-ca-cert-hash sha256:b39576dc6ce3e863559572553e960804cb70657b3790520abd33a799ac6a2f54

默认token有效期为24小时，当过期之后，该token就不可用了。这时就需要重新创建token，操作如下：

$ kubeadm token create --print-join-command

当我们把两个节点都加入进来后，我们就可以去Master节点 执行下面命令查看情况

$ kubectl get node

部署CNI网络插件

在上面各node的状态还是NotReady，下面我们需要网络插件，来进行联网访问：

# 添加
$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

# 查看状态 【kube-system是k8s中的最小单元】
$ kubectl get pods -n kube-system
NAME                                 READY   STATUS    RESTARTS   AGE
coredns-7ff77c879f-qs4m5             1/1     Running   1          35d
coredns-7ff77c879f-sp8pz             1/1     Running   1          35d
etcd-k8s-master                      1/1     Running   2          35d
kube-apiserver-k8s-master            1/1     Running   2          35d
kube-controller-manager-k8s-master   1/1     Running   2          35d
kube-flannel-ds-kp5ln                1/1     Running   3          35d
kube-flannel-ds-pdhq9                1/1     Running   2          35d
kube-flannel-ds-r64pr                1/1     Running   1          35d
kube-proxy-ftvwq                     1/1     Running   2          35d
kube-proxy-lg8sx                     1/1     Running   1          35d
kube-proxy-xp8ms                     1/1     Running   3          35d
kube-scheduler-k8s-master            1/1     Running   2          35d

$ kubectl get node
NAME         STATUS   ROLES    AGE   VERSION
k8s-master   Ready    master   35d   v1.18.0
k8s-node1    Ready    <none>   35d   v1.18.0
k8s-node2    Ready    <none>   35d   v1.18.0

这个时候可以看到我们的node已经全部变成Ready状态了。如果上述操作完成后，还存在某个节点处于NotReady状态，可以在Master将该节点删除。

# master节点将该节点删除
$ kubectl drain k8snode1 --delete-local-data --force --ignore-daemonsets
$ kubectl delete node k8snode1
 
# 然后到k8snode1节点进行重置
$ kubeadm reset

# 重置完后在加入
$ kubeadm join 192.168.177.130:6443 --token yaq87c.pza7fy4v0qxnvz1u \
    --discovery-token-ca-cert-hash sha256:b39576dc6ce3e863559572553e960804cb70657b3790520abd33a799ac6a2f54

测试kubernetes集群

我们都知道K8S是容器化技术，它可以联网去下载镜像，用容器的方式进行启动，在Kubernetes集群中创建一个pod，验证是否正常运行：

# 下载nginx 【会联网拉取nginx镜像】
$ kubectl create deployment nginx --image=nginx
# 查看状态
$ kubectl get pod
NAME                            READY   STATUS              RESTARTS   AGE
nginx-f89759699-sd5tq           1/1     Running             0          37s

如果我们出现Running状态的时候，表示已经成功运行了
下面我们就需要将端口暴露出去，让其它外界能够访问

# 暴露端口
$ kubectl expose deployment nginx --port=80 --type=NodePort
service/nginx exposed
# 查看一下对外的端口
$ kubectl get pod,svc
NAME                                READY   STATUS    RESTARTS   AGE
pod/nginx-f89759699-sd5tq           1/1     Running   0          114s

NAME                                    TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)             AGE
service/nginx                           NodePort    10.96.83.213     <none>        80:32059/TCP        6s

可以看到80端口已经映射到32059上了，在web浏览器上访问一下ip:32059

大功告成！！