0. 前置准备
准备好3台服务器,一台作为master,另外两台作为worker节点。 3台服务器网络互通,os是centos-7.9
1. 设置服务器操作
- 关闭服务器防火墙:systemctl stop firewalld
- 永久关闭selinux:sed -i 's/enforcing/disabled/' /etc/selinux/config
- 关闭swap:swapoff -a
- 设置主机名:hostnamectl set-hostname myk8s-master(三台服务器都分别设置)
- 在master上设置worker的解析。
- cat >> /etc/hosts << EOF 192.168.32.128 k8s-master 192.168.32.129 k8s-node1 192.168.32.130 k8s-node2 EOF
- 将桥接的IPv4流量传递到iptables的链:cat >> /etc/sysctl.d/k8s.conf << EOF net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF
- 生效操作:sysctl --system
- 时间同步:yum install ntpdate -y ntpdate time.windows.com
2. 安装docker
# 安装docker
yum install -y yum-utils
yum-config-manager \
--add-repo \
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repoyum install -y docker-ce docker-ce-cli containerd.io
# 启动docker
systemctl start docker
3. 安装docker-compose(非必须)
curl -L https://github.com/docker/compose/releases/download/1.29.2/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
# 国内可以选择这个地址
# curl -L https://download.fastgit.org/docker/compose/releases/download/1.29.2/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose# 添加可执行权限
chmod +x /usr/local/bin/docker-compose
4.安装kubeadmin、kubectl和kubelet
--添加yum的k8s源
cat > /etc/yum.repos.d/kubernetes.repo << EOF [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF
-- yum安装
yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0
-- 启动kubeadmin
systemctl enable kubelet
查看安装包:
rpm -qa | grep kube
kubelet --version
kubeadm version
kubectl version
手动下载镜像:
-- 查看仓库下镜像
kubeadm config images list --image-repository registry.aliyuncs.com/google_containers
-- pull 镜像
kubeadm config images pull --image-repository registry.aliyuncs.com/google_containers
-- docker images
5. 初始化master
创建配置文件kubeadm-init.yaml文件,具体的参数介绍可见:kubeadm init | Kubernetes
kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.18.0 --apiserver-advertise-address 172.16.242.129 --pod-network-cidr=10.244.0.0/16 --service-cidr=10.1.0.0/16 --ignore-preflight-errors=all
命令中的各选项简单说明如下:
--image-repository:指定要使用的镜像仓库,默认为gcr.io;
--kubernetes-version:kubernetes程序组件的版本号,它必须要与安装的kubelet程序包的版本号相同;
--control-plane-endpoint:控制平面的固定访问端点,可以是IP地址或DNS名称,会被用于集群管理员及集群组件的kubeconfig配置文件的API Server的访问地址;单控制平面部署时可以不使用该选项;
--pod-network-cidr:Pod网络的地址范围,其值为CIDR格式的网络地址,通常,Flannel网络插件的默认为10.244.0.0/16,Project Calico插件的默认值为192.168.0.0/16;
--service-cidr:Service的网络地址范围,其值为CIDR格式的网络地址,默认为10.96.0.0/12;通常,仅Flannel一类的网络插件需要手动指定该地址;
--apiserver-advertise-address:apiserver通告给其他组件的IP地址,一般应该为Master节点的用于集群内部通信的IP地址,0.0.0.0表示节点上所有可用地址;
--token-ttl:共享令牌(token)的过期时长,默认为24小时,0表示永不过期;为防止不安全存储等原因导致的令牌泄露危及集群安全,建议为其设定过期时长。未设定该选项时,在token过期后,若期望再向集群中加入其它节点,可以使用如下命令重新创建token,并生成节点加入命令。
遇到错误:
9月 12 19:14:54 myk8s-master kubelet[25047]: E0912 19:14:54.390257 25047 kubelet.go:2267] node "myk8s-master" not found
9月 12 19:14:54 myk8s-master kubelet[25047]: W0912 19:14:54.410219 25047 cni.go:237] Unable to update cni config: no networks found in /etc/cni/net.d
解决办法:
-- 首先恢复原始初始化状态
kubeadm reset --force
-- 卸载 版本
yum remove -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0
-- 解决CNI缺失问题
可以暂时不处理,等后续安装CNI插件即可。
6.在master节点使kubectl生效
直接使用kubectl get nodes,会出现权限错误。
The connection to the server localhost:8080 was refused - did you specify the right host or port?
-- 解决方案
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
-- 这个使用,看到的节点的状态是notready。需要安装CNI网络插件
7. 安装网络插件Calico
-- 执行命令
kubectl apply -f https://docs.projectcalico.org/v3.9/manifests/calico.yaml
-- 看到有calico-node和calico-kube-controllers pods启动成功后,表示CNI插件网络安装好了。
8. 让主节点参与调用
默认情况下,主节点不参与pod调用,在集群资源有限的情况下,可以主动去掉主节点的标记,让其参与调用。
kubectl taint nodes --all node-role.kubernetes.io/master-
9. worker节点加入集群
kubeadm join --token <token> <master-ip>:<master-port> --discovery-token-ca-cert-hash sha256:<hash>
-- 可以再master节点执行命令得到# 如果没有token,请使用命令kubeadm token create 创建
kubeadm token list-- 在master查看hash值
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | \
> openssl dgst -sha256 -hex | sed 's/^.* //'
10. 创建一个pod验证
先介绍pod和deployment的区别:
Pod和Deployment都是Kubernetes API中的完整对象。Deployment通过ReplicaSet管理创建Pod。它归结为Deployment将使用模板中的规范创建Pod。
一定要先确定集群支持的版本,可通过命令kubectl api-versions
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx-deployment
labels:
app: nginx
namespace: default
spec:
replicas: 2
selector:
matchLabels:
app: nginx
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: nginx:1.7.9
resources:
requests:
cpu: "0.3"
memory: 200Mi
limits:
cpu: "0.5"
memory: 300Mi
ports:
- containerPort: 80
11. 跨版本升级一个k8s集群
1) 要升级哪些内容
- 控制面板节点
- worker nodes
- kubeadm
- kubelet
- kubectl
2)升级master node
-- 查看版本信息
kubeadm version -o json
-- 查看升级计划, 确认是否需要夸版本升级
kubeadm upgrade plan
-- 查看可升级的版本
yum list --showduplicates kubeadm --disableexcludes=kubernetes
-- 安装kubeadm 到需要的版本yum install kubeadm-v1.19.12
-- 升级kubeadm
kubeadm upgrade apply v1.19.12
-- 驱除节点上的负载,
kubectl drain myk8s-master --ignore-daemonsets
-- 如果是本地存储,还需要删除本地存储
kubectl drain myk8s-master --ignore-daemonsets --delete-local-data
-- 升级kubelet和kubectl
yum install kubelet-1.19.12-0 kubectl-1.19.12-0 --disableexcludes=kubernetes
-- 重启服务systemctl daemon-reload
systemctl restart kubelet
-- 恢复可被调度
kubectl uncordon myk8s-master
-- 查看升级信息
3)升级worker节点
-- 下载安装信息
yum install kubeadm-1.19.12-0 kubelet-1.19.12-0 kubectl-1.19.12-0 --disableexcludes=kubernetes
-- 升级信息
kubeadm upgrade node
-- 驱逐节点
kubectl drain worker-node1 --ignore-daemonsets
-- 重启并恢复调度
systemctl daemon-reload
systemctl restart kubelet
kubectl uncordon worker-node1
12. 高可用k8s集群
因为k8s本身worker节点是多个,并且是无状态的,天然存在可用性保证。 所以集群的高可用落地到master集群。
第一种模式:master和分布式数据库etcd部署在一起。
第二种模式:etcd和master分开部署