01.CentOS7 部署K8S集群
0.部署规划
192.168.174.131 node01 -> k8s-master
192.168.174.132 node02 -> k8s-node1
192.168.174.133 node03 -> k8s-node2
备注:第1步~第8步,所有的节点都要操作,第9、10步Master节点操作,第11步Node节点操作。
如果第9、10、11步操作失败,可以通过 kubeadm reset 命令来清理环境重新安装。
1.关闭防火墙
systemctl stop firewalld
备注:必须关闭
2.关闭selinux
setenforce 0
3.关闭swap
swapoff -a 临时关闭
$ free 可以通过这个命令查看swap是否关闭了
关闭前
关闭后
vim /etc/fstab 永久关闭
备注:必须关闭
4.添加主机名与IP对应的关系
vim /etc/hosts
添加如下内容:
192.168.174.133 node03
192.168.174.132 node02
192.168.174.131 node01
5.将桥接的IPV4流量传递到iptables 的链
【有一些ipv4的流量不能走iptables链【linux内核的一个过滤器,每个流量都会经过他,然后再匹配是否可进入当前应用进程去处理,导致流量丢失】
$ cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
$ sysctl --system
6.安装Docker
1)下载并安装
$ wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo
$ yum -y install docker-ce-18.06.1.ce-3.el7
2)设置开机启动
$ systemctl enable docker
$ systemctl start docker
3)查看Docker版本
$ docker --version
Docker version 18.06.1-ce, build e68fc7a
7.添加阿里云YUM软件源
$ cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
8.安装kubeadm,kubelet和kubectl
在部署kubernetes时,要求master node和worker node上的版本保持一致,否则会出现版本不匹配导致奇怪的问题出现。本文将介绍如何在CentOS系统上,使用yum安装指定版本的Kubernetes。
我们需要安装指定版本的kubernetes。那么如何做呢?在进行yum安装时,可以使用下列的格式来进行安装:
yum install -y kubelet- kubectl- kubeadm-
$ yum install -y kubelet-1.23.4 kubeadm-1.23.4 kubectl-1.23.4
使用yum安装程序时,提示xxx.rpm公钥尚未安装
使用 yum install xxx.rpm --nogpgcheck 命令格式跳过公钥检查,如下:
yum install cri-tools-1.19.0-0.x86_64 --nogpgcheck
yum install -y kubelet-1.23.4 --nogpgcheck
yum install kubectl-1.23.4-0.x86_64 --nogpgcheck
yum install kubeadm-1.23.4-0.x86_64 --nogpgcheck
$ systemctl enable kubelet
9.部署Kubernetes Master
1)初始化kubeadm
$ kubeadm init \
--apiserver-advertise-address=124.223.109.38 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.23.4 \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16
kubeadm init \
--apiserver-advertise-address=124.223.109.38 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.21.0 \
--service-cidr=10.0.0.0/12 \
--pod-network-cidr=10.0.0.0/16 \
--ignore-preflight-errors=all
可能遇到如下报错:
解决方法:
# 添加以下内容
vim /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"]
}
# 重启docker
systemctl restart docker
# 重新初始化
kubeadm reset # 先重置
kubeadm init \
--apiserver-advertise-address=10.0.16.12 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.23.4 \
--service-cidr=10.0.0.0/12 \
--pod-network-cidr=10.0.0.0/16 \
--ignore-preflight-errors=all
显示如下表示成功:
查看镜像
$ docker images
2)使用kubectl工具
复制如下命令直接执行
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
下面就可以直接使用kubectl命令了
kubectl get nodes
10.安装Pod网络插件(CNI)
wget https://docs.projectcalico.org/v3.20/manifests/calico.yaml --no-check-certificate
kubectl apply -f calico.yaml
kubectl get nodes
11.Node节点加入集群
向集群添加新节点,执行在kubeadm init输出的kubeadm join命令:
复制上面命令,在node节点上执行
kubeadm join 192.168.174.131:6443 --token xhokze.c270x47gp1hbc47c \
--discovery-token-ca-cert-hash sha256:5c2285b7111413c4d8f4fad192f66caa8222f382054ca527a07cc7f7e6bf64c7
如果一直卡在 “Running pre-flight checks” 上,则很可能是时间未同步,token失效导致
第一步,检查master、node时间是否同步?
$ date
执行如下命令同步时间
$ ntpdate time.nist.gov
第二步:如果还有其它错误如 Port 10250 is in use,执行如下命令
$ kubeadm reset
然后再重新执行kubeadm join ... 操作
如果出现如下错误提示:
1)更改docker的启动参数
$ vim /usr/lib/systemd/system/docker.service
#ExecStart=/usr/bin/dockerd
ExecStart=/usr/bin/dockerd --exec-opt native.cgroupdriver=systemd
2)重启docker
systemctl daemon-reload
systemctl restart docker
删除旧node
1、 删除一个节点前,先驱赶掉上面的pod
kubectl drain node02 --delete-local-data --force --ignore-daemonsets
此时节点上面的pod开始迁移
检查节点状态 kubectl get nodes,被标记为不可调度节点 SchedulingDisabled
最后删除节点
kubectl delete node node02
如果token忘记了,则可以通过如下操作:
1)查看token,如果token失效,则重新生成一个
$ kubeadm token list
$ kubeadm token create
2)获取ca证书sha256编码hash值
$ openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
3)节点加入集群
添加成功时:
再通过master节点查看node,发现node节点已以成功加入集群,并且Status状态为Ready
12.测试kubernetes集群
$ kubectl create deployment nginx --image=nginx
$ kubectl expose deployment nginx --port=80 --type=NodePort
$ kubectl get pod,svc
通过浏览器访问:http://192.168.174.131:30688/
13.部署 Dashboard
本节内容在client端完成
1. 下载yaml
wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta8/aio/deploy/recommended.yaml
2配置yaml
2.1 修改镜像地址
sed -i 's/kubernetesui/registry.cn-hangzhou.aliyuncs.com\/loong576/g' recommended.yaml
2.2 外网访问
sed -i '/targetPort: 8443/a\ \ \ \ \ \ nodePort: 30001\n\ \ type: NodePort' recommended.yaml
配置NodePort,外部通过https://NodeIp:NodePort 访问Dashboard,此时端口为30001
2.3 新增管理员帐号
cat >> recommended.yaml << EOF
---
# ------------------- dashboard-admin ------------------- #
apiVersion: v1
kind: ServiceAccount
metadata:
name: dashboard-admin
namespace: kubernetes-dashboard
---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
name: dashboard-admin
subjects:
- kind: ServiceAccount
name: dashboard-admin
namespace: kubernetes-dashboard
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: cluster-admin
EOF
创建超级管理员的账号用于登录Dashboard
3. 部署访问
3.1 部署Dashboard
kubectl apply -f recommended.yaml