01.CentOS7 部署K8S集群

01.CentOS7 部署K8S集群

0.部署规划

192.168.174.131   node01  -> k8s-master
192.168.174.132   node02  -> k8s-node1
192.168.174.133   node03  -> k8s-node2

备注：第1步~第8步，所有的节点都要操作，第9、10步Master节点操作，第11步Node节点操作。

​ 如果第9、10、11步操作失败，可以通过 kubeadm reset 命令来清理环境重新安装。

1.关闭防火墙

systemctl stop firewalld

备注：必须关闭

2.关闭selinux

setenforce 0

3.关闭swap

 swapoff -a   临时关闭

$ free       可以通过这个命令查看swap是否关闭了

关闭前

关闭后

 vim /etc/fstab  永久关闭

备注：必须关闭

4.添加主机名与IP对应的关系

vim /etc/hosts

添加如下内容：

192.168.174.133 node03
192.168.174.132 node02
192.168.174.131 node01

5.将桥接的IPV4流量传递到iptables 的链

【有一些ipv4的流量不能走iptables链【linux内核的一个过滤器，每个流量都会经过他，然后再匹配是否可进入当前应用进程去处理，导致流量丢失】

$ cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
$ sysctl --system

6.安装Docker

1）下载并安装

$ wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo
$ yum -y install docker-ce-18.06.1.ce-3.el7

2）设置开机启动

$ systemctl enable docker
$ systemctl start docker

3）查看Docker版本

$ docker --version
Docker version 18.06.1-ce, build e68fc7a

7.添加阿里云YUM软件源

$ cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

8.安装kubeadm，kubelet和kubectl

在部署kubernetes时，要求master node和worker node上的版本保持一致，否则会出现版本不匹配导致奇怪的问题出现。本文将介绍如何在CentOS系统上，使用yum安装指定版本的Kubernetes。

我们需要安装指定版本的kubernetes。那么如何做呢？在进行yum安装时，可以使用下列的格式来进行安装：

yum install -y kubelet- kubectl- kubeadm-

$ yum install -y kubelet-1.23.4 kubeadm-1.23.4 kubectl-1.23.4

使用yum安装程序时，提示xxx.rpm公钥尚未安装

使用 yum install xxx.rpm --nogpgcheck 命令格式跳过公钥检查，如下：

yum install cri-tools-1.19.0-0.x86_64 --nogpgcheck
yum install -y kubelet-1.23.4 --nogpgcheck
yum install kubectl-1.23.4-0.x86_64 --nogpgcheck
yum install kubeadm-1.23.4-0.x86_64 --nogpgcheck

$ systemctl enable kubelet

9.部署Kubernetes Master

1）初始化kubeadm

$ kubeadm init \
  --apiserver-advertise-address=124.223.109.38 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.23.4 \
  --service-cidr=10.1.0.0/16 \
  --pod-network-cidr=10.244.0.0/16
  
  
  kubeadm init \
  --apiserver-advertise-address=124.223.109.38 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.21.0 \
  --service-cidr=10.0.0.0/12 \
  --pod-network-cidr=10.0.0.0/16 \
  --ignore-preflight-errors=all

可能遇到如下报错：

解决方法：

# 添加以下内容
vim /etc/docker/daemon.json
{
  "exec-opts": ["native.cgroupdriver=systemd"]
}

# 重启docker
systemctl restart docker
# 重新初始化
kubeadm reset # 先重置

kubeadm init \
--apiserver-advertise-address=10.0.16.12 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.23.4 \
--service-cidr=10.0.0.0/12 \
--pod-network-cidr=10.0.0.0/16 \
--ignore-preflight-errors=all

显示如下表示成功：

查看镜像
$ docker images

2）使用kubectl工具

复制如下命令直接执行

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config　　

下面就可以直接使用kubectl命令了

kubectl get nodes

10.安装Pod网络插件（CNI）

wget https://docs.projectcalico.org/v3.20/manifests/calico.yaml --no-check-certificate

kubectl apply -f calico.yaml

kubectl get nodes

11.Node节点加入集群

向集群添加新节点，执行在kubeadm init输出的kubeadm join命令：

复制上面命令，在node节点上执行

kubeadm join 192.168.174.131:6443 --token xhokze.c270x47gp1hbc47c \
   --discovery-token-ca-cert-hash sha256:5c2285b7111413c4d8f4fad192f66caa8222f382054ca527a07cc7f7e6bf64c7

如果一直卡在 “Running pre-flight checks” 上，则很可能是时间未同步，token失效导致

第一步，检查master、node时间是否同步？
$ date
执行如下命令同步时间
$ ntpdate time.nist.gov
 
第二步：如果还有其它错误如 Port 10250 is in use，执行如下命令
$ kubeadm reset
然后再重新执行kubeadm join ... 操作

如果出现如下错误提示：

1）更改docker的启动参数
$ vim /usr/lib/systemd/system/docker.service
#ExecStart=/usr/bin/dockerd
ExecStart=/usr/bin/dockerd --exec-opt native.cgroupdriver=systemd
 
2）重启docker
systemctl daemon-reload
systemctl restart docker

删除旧node

1、 删除一个节点前，先驱赶掉上面的pod

kubectl drain node02 --delete-local-data --force --ignore-daemonsets

此时节点上面的pod开始迁移

检查节点状态 kubectl get nodes，被标记为不可调度节点 SchedulingDisabled

最后删除节点

kubectl delete node node02

如果token忘记了，则可以通过如下操作：

1）查看token，如果token失效，则重新生成一个

$ kubeadm token list
$ kubeadm token create

2）获取ca证书sha256编码hash值

$ openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

3）节点加入集群

添加成功时：

再通过master节点查看node，发现node节点已以成功加入集群，并且Status状态为Ready

12.测试kubernetes集群

$ kubectl create deployment nginx --image=nginx
$ kubectl expose deployment nginx --port=80 --type=NodePort
$ kubectl get pod,svc

通过浏览器访问：http://192.168.174.131:30688/

13.部署 Dashboard

本节内容在client端完成

1. 下载yaml

wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta8/aio/deploy/recommended.yaml

2配置yaml

2.1 修改镜像地址

sed -i 's/kubernetesui/registry.cn-hangzhou.aliyuncs.com\/loong576/g' recommended.yaml

2.2 外网访问

sed -i '/targetPort: 8443/a\ \ \ \ \ \ nodePort: 30001\n\ \ type: NodePort' recommended.yaml

配置NodePort，外部通过https://NodeIp:NodePort 访问Dashboard，此时端口为30001

2.3 新增管理员帐号

cat >> recommended.yaml << EOF
---
# ------------------- dashboard-admin ------------------- #
apiVersion: v1
kind: ServiceAccount
metadata:
  name: dashboard-admin
  namespace: kubernetes-dashboard

---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: dashboard-admin
subjects:
- kind: ServiceAccount
  name: dashboard-admin
  namespace: kubernetes-dashboard
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
EOF

创建超级管理员的账号用于登录Dashboard

3. 部署访问

3.1 部署Dashboard

 kubectl apply -f recommended.yaml