一、架构图
二、部署环境
主机名 | 系统版本 | 内核版本 | IP地址 | 备注 |
---|---|---|---|---|
k8s-master-28 | Ubuntu 20.04.4 LTS | Linux 5.4.0-100-generic | 192.168.1.28 | master节点-worker节点 |
三、环境初始化
3.1、主机名设置
root@k8s-master-28:/home/lolaage# hostnamectl set-hostname k8s-master-28
root@k8s-master-28:/home/lolaage# vi /etc/hosts
192.168.1.28 k8s-master-28
3.2、系统环境初始化
1、关闭ufw防火墙
root@ubuntu-28:/home/lolaage# systemctl stop ufw && systemctl disable ufw
Synchronizing state of ufw.service with SysV service script with /lib/systemd/systemd-sysv-install.
Executing: /lib/systemd/systemd-sysv-install disable ufw
2、永久关闭selinux
root@ubuntu-28:/home/lolaage# apt install policycoreutils -y
root@ubuntu-28:/home/lolaage# sed -i 's#SELINUX=permissive#SELINUX=disabled#g' /etc/selinux/config
root@ubuntu-28:/home/lolaage# sestatus -v
SELinux status: disabled
注意:永久关闭selinux,必须重启服务器。
3、关闭swap
说明:由于Kubeadm在进行K8s安装init初始化时候会检测系统中是否存在swap如果存在会在安装时候有一个警告,尽管您可以利用ingore来忽略它但是确实对性能有一定的影响;例如有可能我们创建的Pod运行在虚拟内存上面与运行在物理内存中Pod不管是RW效率都比较低。
root@ubuntu-28:/home/lolaage# sed -i 's/^\/swap.img\(.*\)$/#\/swap.img \1/g' /etc/fstab
4、修改时区
#1、先执行命令date,看是否时间日期显示的最后是UTC,如果是说明使用的是美国时区,需要修正,执行以下命令
root@ubuntu-28:/home/lolaage# date
Thu 20 Oct 2022 03:11:34 AM UTC
root@ubuntu-28:/home/lolaage# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
root@ubuntu-28:/home/lolaage# timedatectl set-timezone Asia/Shanghai
#2、然后再次执行date查看时间日期最后是否变成了CST。最后为了使得系统日志的时间戳也立即生效,需要执行一下命令重启rsyslog:
root@ubuntu-28:/home/lolaage# systemctl restart rsyslog
root@ubuntu-28:/home/lolaage# date
Thu 20 Oct 2022 11:13:25 AM CST
5、设置内核参数
#1、br_netfilter模块用于将桥接流量转发至iptables链。执行如下语句安装br_netfilter模块:
root@ubuntu-28:/etc/sysctl.d# apt-get install bridge-utils
root@ubuntu-28:/etc/sysctl.d# modprobe br_netfilter
root@ubuntu-28:/etc/sysctl.d# lsmod | grep br_netfilter
br_netfilter 28672 0
bridge 176128 1 br_netfilter
root@ubuntu-28:/etc/sysctl.d# vi /etc/sysctl.conf
#启用ipv4转发
net.ipv4.ip_forward=1
#禁用ipv6协议
net.ipv6.conf.all.disable_ipv6=1
#禁止使用swap空间,只有当系统OOM时才允许使用它
vm.swappiness=0
#不检查物理内存是否够用
vm.overcommit_memory=1
# 不启OOM
vm.panic_on_oom=0
#网桥模式开启
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-arptables = 1
root@ubuntu-28:/etc/sysctl.d# sysctl -p
6、修改rp_filter
说明:如果后期需要部署calico网络插件的话,需要rp_filter这个内核参数是0或者1,但是Ubuntu20.04上默认是2,需要修改/etc/sysctl.d/10-network-security.conf文件,修改如下:
root@ubuntu-28:/etc/sysctl.d# vi /etc/sysctl.d/10-network-security.conf
net.ipv4.conf.default.rp_filter=1
net.ipv4.conf.all.rp_filter=1
root@ubuntu-28:/etc/sysctl.d# sysctl --system
7、安装ipvs以及负载均衡相关依赖
#1、安装ipvs及其依赖
root@ubuntu-28:/etc/sysctl.d# apt -y install ipvsadm ipset sysstat conntrack
#2、ipvs内核模块手动加载
root@ubuntu-28:/etc/sysctl.d# vim /etc/profile.d/ipvs.modules.sh
#!/bin/bash
sudo modprobe -- ip_vs
sudo modprobe -- ip_vs_lc
sudo modprobe -- ip_vs_lblc
sudo modprobe -- ip_vs_lblcr
sudo modprobe -- ip_vs_rr
sudo modprobe -- ip_vs_wrr
sudo modprobe -- ip_vs_sh
sudo modprobe -- ip_vs_dh
sudo modprobe -- ip_vs_fo
sudo modprobe -- ip_vs_nq
sudo modprobe -- ip_vs_sed
sudo modprobe -- ip_vs_ftp
sudo modprobe -- ip_vs_sh
sudo modprobe -- ip_tables
sudo modprobe -- ip_set
sudo modprobe -- ipt_set
sudo modprobe -- ipt_rpfilter
sudo modprobe -- ipt_REJECT
sudo modprobe -- ipip
sudo modprobe -- xt_set
sudo modprobe -- br_netfilter
sudo modprobe -- nf_conntrack
root@ubuntu-28:/etc/sysctl.d# chmod 755 /etc/profile.d/ipvs.modules.sh
root@ubuntu-28:/etc/sysctl.d# bash /etc/profile.d/ipvs.modules.sh
root@ubuntu-28:/etc/sysctl.d# lsmod | grep -e ip_vs -e nf_conntrack -e br_netfilter
ip_vs_ftp 16384 0
nf_nat 45056 1 ip_vs_ftp
ip_vs_sed 16384 0
ip_vs_nq 16384 0
ip_vs_fo 16384 0
ip_vs_dh 16384 0
ip_vs_sh 16384 0
ip_vs_wrr 16384 0
ip_vs_rr 16384 0
ip_vs_lblcr 16384 0
ip_vs_lblc 16384 0
ip_vs_lc 16384 0
ip_vs 155648 22 ip_vs_rr,ip_vs_dh,ip_vs_lblcr,ip_vs_sh,ip_vs_fo,ip_vs_nq,ip_vs_lblc,ip_vs_wrr,ip_vs_lc,ip_vs_sed,ip_vs_ftp
nf_conntrack 139264 2 nf_nat,ip_vs
nf_defrag_ipv6 24576 2 nf_conntrack,ip_vs
nf_defrag_ipv4 16384 1 nf_conntrack
br_netfilter 28672 0
bridge 176128 1 br_netfilter
libcrc32c 16384 6 nf_conntrack,nf_nat,btrfs,xfs,raid456,ip_vs
四、Docker部署
说明:安装docker服务centos7.6与ubuntu系统用二进制安装操作步骤是一样的,直接可以使用下述安装工具即可。
《Linux运维实战:Centos7.6一键离线部署docker19.03.9》
五、Kubernetes部署
5.1、安装kubelet、kubeadm和kubectl
这里首先要解决源的问题,之前的apt源使用了华为的源,所以这里也需要使用华为的kubenetes源来安装。
#1、先安装部分组件
root@k8s-master-28:/home/lolaage# apt-get install ca-certificates curl software-properties-common apt-transport-https -y
#2、获取gpg
root@k8s-master-28:/home/lolaage# curl -s https://repo.huaweicloud.com/kubernetes/apt/doc/apt-key.gpg | sudo apt-key add
#3、在/etc/apt/sources.list.d目录下新建kubernetes.list文件
root@k8s-master-28:/home/lolaage# cat > /etc/apt/sources.list.d/kubernetes.list <<EOF
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
#4、刷新软件列表
root@k8s-master-28:/home/lolaage# apt-get update
#5、查看可安装版本
root@k8s-master-28:/home/lolaage# apt-cache madison kubelet
#6、安装指定版本(1.20.6)
root@k8s-master-28:/home/lolaage# apt-get install -y kubelet=1.20.6-00 kubeadm=1.20.6-00 kubectl=1.20.6-00
#6、查看所需镜像
root@k8s-master-28:/home/lolaage# kubeadm config images list --kubernetes-version=v1.20.6
k8s.gcr.io/kube-apiserver:v1.20.6
k8s.gcr.io/kube-controller-manager:v1.20.6
k8s.gcr.io/kube-scheduler:v1.20.6
k8s.gcr.io/kube-proxy:v1.20.6
k8s.gcr.io/pause:3.2
k8s.gcr.io/etcd:3.4.13-0
k8s.gcr.io/coredns:1.7.0
#7、设置开机启动
root@k8s-master-28:/home/lolaage# systemctl enable kubelet
5.3、k8s相关镜像下载
kubernetes-v1.20.6+calio-v3.20.0+calico.yaml完整镜像资源包
镜像版本如下:
k8s.gcr.io/kube-apiserver:v1.20.6
k8s.gcr.io/kube-controller-manager:v1.20.6
k8s.gcr.io/kube-scheduler:v1.20.6
k8s.gcr.io/kube-proxy:v1.20.6
k8s.gcr.io/pause:3.2
k8s.gcr.io/etcd:3.4.13-0
k8s.gcr.io/coredns:1.7.0
calico/pod2daemon-flexvol:v3.20.0
calico/node:v3.20.0
calico/cni:v3.20.0
calico/kube-controllers:v3.20.0
5.4、kubeadm初始化master节点
#1、kubernetes配置文件
vim kubeadm-config.yaml
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
networking:
serviceSubnet: "10.96.0.0/16"
podSubnet: "10.244.0.0/16"
kubernetesVersion: "v1.20.6"
controlPlaneEndpoint: "192.168.1.28:6443"
apiServer:
extraArgs:
authorization-mode: "Node,RBAC"
service-node-port-range: 30000-36000
imageRepository: ""
---
apiVersion: kubeadm.k8s.io/v1beta2
kind: KubeProxyConfiguration
mode: "ipvs"
#2、kubeadm初始化kubernetes集群
kubeadm init --config=kubeadm-config.yaml --upload-certs --ignore-preflight-errors=SystemVerification
#3、设置kubelet开机自启
systemctl enable kubelet
如下图所示:
5.5、配置kubectl
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
export KUBECONFIG=/etc/kubernetes/admin.conf
5.6、配置calico网络
kubernetes1.20.6之calico.yaml文件
#1、在master节点上部署CNI网络
kubectl apply -f calico.yaml
#2、查看master节点状态
[root@k8s-master-11 kubernete-tools]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-master-11 Ready control-plane,master 105m v1.20.6
5.7、将master标记为可调度
说明:使用kubeadm初始化的kubernetes,出于安全考虑Pod不会被调度到Master Node上,也就是说Master Node不参与工作负载。
#1、查看k8s-master-28节点
root@k8s-master-28:/data/pkgs# kubectl describe node k8s-master-28 | grep Taints
Taints: node-role.kubernetes.io/master:NoSchedule
说明:master:NoSchedule表示当前节点为不可调度节点
#2、将k8s-master-11节点设置可可调度节点
root@k8s-master-28:/data/pkgs# kubectl taint node k8s-master-28 node-role.kubernetes.io/master-
node/k8s-master-28 untainted
root@k8s-master-28:/data/pkgs# kubectl describe node k8s-master-28 | grep Taints
Taints: <none>
#3、其中k8s-master是主机节点hostname如果要恢复Master Only状态,执行如下命令:
root@k8s-master-28:/data/pkgs# kubectl taint node k8s-master-28 node-role.kubernetes.io/master="":NoSchedule
node/k8s-master-28 tainted
root@k8s-master-28:/data/pkgs# kubectl describe node k8s-master-28 | grep Taints
Taints: node-role.kubernetes.io/master:NoSchedule
5.8、组件controller-manager与scheduler状态为Unhealthy处理
如下图所示:
问题处理思路:
1、先查看本地的端口,可以确认没有启动10251、10252端口
2、确认kube-scheduler和kube-controller-manager组件配置是否禁用了非安全端口
3、配置文件路径:/etc/kubernetes/manifests/kube-scheduler.yaml 、/etc/kubernetes/manifests/kube-controller-manager.yaml
mkdir /etc/kubernetes/manifests/bak
cp /etc/kubernetes/manifests/kube-scheduler.yaml /etc/kubernetes/manifests/bak/kube-scheduler.yaml
cp /etc/kubernetes/manifests/kube-controller-manager.yaml /etc/kubernetes/manifests/bak/kube-controller-manager.yaml
sed -i '/port=0/d' /etc/kubernetes/manifests/kube-scheduler.yaml
sed -i '/port=0/d' /etc/kubernetes/manifests/kube-controller-manager.yaml
说明:在当前版本中经测试不需要重启kubelet服务和服务器
############################################################
4、如果不行请重启kubelet服务
5、如果不行请重启服务器
至此,单节点kubernetes就部署完成了。
下一章:《Kubernetes部署篇:Centos7.6部署kubernetes1.20.6单master集群》》
总结:整理不易,如果对你有帮助,可否点赞关注一下?
更多详细内容请参考:企业级K8s集群运维实战