kubernetes(一)——集群部署(单master)

1、整体架构

Kubernetes由Master节点和Node节点组成。master节点控制 Kubernetes 节点的机器，也是创建作业任务的地方，而node节点则在master的控制下执行被分配的任务。

Master主要由ETCD/Controller Manager/Api Server/Schedular能成,

• etcd：主要负责存储各个node节点的状态和其它相关数据，可以理解为kubernetes的数据库。
• API server：集群的统一入口，各组件协调者，以RESTful API提供接口服务，所有对象资源的增删改查和监听操作都交给API Server处理后再提交给 etcd 存储。
• Scheduler：实现集群节点的调度。根据调度算法为新创建的 Pod 选择一个Node 节点，可以任意部署，可以部署在同一个节点上，也可以部署在不同的节点上。调度算法考虑的因素包括单个 Pod 和 Pod 集合的资源需求、硬件/软件/策略约束、亲和性和反亲和性规范、数据位置、工作负载间的干扰和最后时限。
• Controller Manager：处理集群中常规后台任务，一个资源对应一个控制器，而ControllerManager就是负责管理这些控制器的。

Node主要由kubelet和kube-proxy组成，一般还会安装kube-dns组件。

• Kubelet：是Master在Node节点上的代理，管理本机运行容器的生命周期，比如创建容器、Pod挂载数据卷、下载secret、获取容器和节点状态等工作。kubelet将每个Pod转换成一组容器。 kubelet 不会管理不是由 Kubernetes 创建的容器。
• Kube-proxy：在Node节点上实现Pod网络代理，维护网络规则和四层负载均衡工作。这些网络规则允许从集群内部或外部的网络会话与 Pod 进行网络通信。
• Kube-dns:负责为整个集群提供DNS服务，通过Service名称访问相应的服务

各组件启动顺序：k8s的启动过程的先启动master上的kubelet，master上的kubelet启动etcd，kube-apiserver、kube-controller、  kube-scheduler, 这些系统服务pods( 静态 Pod（Static Pod）由特定节点上的 kubelet 守护进程直接管理的 pod)，这样k8s的master就启动成功了。

nodes上的kubelet会根据记录的master地址（直接ip地址，不需要网络转发），和kube-apiserver联系，kube-apiserver会让每台机器上的kube-proxy、coredns等系统组件，最后启动etcd里面记录的跟踪组件（pod容器方式），最后k8s整个集群启动成功

2、生产环境可部署Kubernetes集群的两种方式

目前生产部署Kubernetes集群主要有两种方式：

• kubeadm

Kubeadm是一个K8s部署工具，提供kubeadm init和kubeadm join，用于快速部署Kubernetes集群。

• 二进制包

从github下载发行版的二进制包，手动部署每个组件，组成Kubernetes集群。

本文采用kubeadm搭建集群。

kubeadm常用命令：

kubeadm init	初始化一个Master节点
kubeadm join	将工作节点加入集群
kubeadm upgrade	升级K8s版本
kubeadm token	管理kubeadm join
kubeadm reset	清空 kubeadm init 或者 kubeadm join 对主机所做的任何更改
kubeadm version	打印kubeadm 版本
kubeadm alpha	预览可用的新功能

3、准备环境

服务器规划：

角色	IP
k8s-master	192.168.5.11
k8s-node1	192.168.5.12
k8s-node2	192.168.5.13

4、操作系统初始化配置【所有节点】

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 关闭selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config  # 永久
setenforce 0  # 临时

# 在master添加hosts
cat >> /etc/hosts << EOF
192.168.5.11 k8s-master
192.168.5.12 k8s-node1
192.168.5.13 k8s-node2
EOF

# 将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sysctl --system  # 生效

# 时间同步
yum install ntpdate -y
ntpdate time.windows.com

5、 安装Docker/kubeadm/kubelet【所有节点】

这里使用Docker作为容器引擎，也可以换成别的，例如containerd

5.1、安装docker

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo

yum -y install docker-ce
systemctl enable docker && systemctl start docker

配置镜像下载加速器：

cat > /etc/docker/daemon.json << EOF
{
  "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]
}
EOF

启动

systemctl restart docker
docker info

5.2、 添加阿里云YUM软件源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

5.3、安装kubeadm，kubelet和kubectl

yum install -y kubelet-1.21.0 kubeadm-1.21.0 kubectl-1.21.0
systemctl enable kubelet

6、部署Kubernetes Master

在192.168.5.11（master）执行

kubeadm init \
  --apiserver-advertise-address=192.168.5.11 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.21.0 \
  --service-cidr=10.96.0.0/12 \
  --pod-network-cidr=10.244.0.0/16 \
  --ignore-preflight-errors=all

• --apiserver-advertise-address 集群通告地址

• --image-repository 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址

• --kubernetes-version K8s版本，与上面安装的一致

• --service-cidr 集群内部虚拟网络，Pod统一访问入口

• --pod-network-cidr Pod网络，，与下面部署的CNI网络组件yaml中保持一致

或者使用配置文件引导：

vi kubeadm.conf
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
kubernetesVersion: v1.21.0
imageRepository: registry.aliyuncs.com/google_containers 
networking:
  podSubnet: 10.244.0.0/16 
  serviceSubnet: 10.96.0.0/12 

kubeadm init --config kubeadm.conf --ignore-preflight-errors=all  

初始化完成后，最后会输出一个join命令，先记住，下面用。

拷贝kubectl使用的连接k8s认证文件到默认路径：

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

查看工作节点：

kubectl get nodes

 注：由于网络插件还没有部署，还没有准备就绪 NotReady

7、加入Kubernetes Node

在192.168.5.12/13（Node）执行。

向集群添加新节点，执行在kubeadm init输出的kubeadm join命令：

kubeadm join 192.168.5.11:6443 --token 7gqt13.kncw9hg5085iwclx \
--discovery-token-ca-cert-hash sha256:66fbfcf18649a5841474c2dc4b9ff90c02fc05de0798ed690e1754437be35a01

默认token有效期为24小时，当过期之后，该token就不可用了。这时就需要重新创建token，可以直接使用命令快捷生成：

kubeadm token create --print-join-command

8、部署容器网络(CNI)

Calico是一个纯三层的数据中心网络方案，是目前Kubernetes主流的网络方案。

下载calico   YAML：

wget https://docs.projectcalico.org/manifests/calico.yaml

下载完后还需要修改里面定义Pod网络（CALICO_IPV4POOL_CIDR），与前面kubeadm init的 --pod-network-cidr指定的一样。

部署：

kubectl apply -f calico.yaml
kubectl get pods -n kube-system

等Calico Pod都Running，节点也会准备就绪。

CoreDNS问题处理：

kubectl get pods -n kube-system

NAME                                     READY   STATUS             RESTARTS   AGE
calico-kube-controllers-8db96c76-z7h5p   1/1     Running            0          16m
calico-node-pshdd                        1/1     Running            0          16m
calico-node-vjwlg                        1/1     Running            0          16m
coredns-545d6fc579-5hd9x                 0/1     ImagePullBackOff   0          16m
coredns-545d6fc579-wdbsz                 0/1     ImagePullBackOff   0          16m

在所有节点执行：

docker pull registry.aliyuncs.com/google_containers/coredns:1.8.0
docker tag registry.aliyuncs.com/google_containers/coredns:1.8.0 registry.aliyuncs.com/google_containers/coredns/coredns:v1.8.0

过一会儿，CoreDNS Pod会自动恢复正常。

注：以后所有yaml文件都只在Master节点执行。

安装目录：/etc/kubernetes/

组件配置文件目录：/etc/kubernetes/manifests/

9、部署Dashboard

Dashboard是官方提供的一个UI，可用于基本管理K8s资源。

wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.3/aio/deploy/recommended.yaml

默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部：

vi recommended.yaml
...
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001
  selector:
    k8s-app: kubernetes-dashboard
  type: NodePort
...



kubectl apply -f recommended.yaml
kubectl get pods -n kubernetes-dashboard

访问地址：https://NodeIP:30001

创建service account并绑定默认cluster-admin管理员集群角色：

# 创建用户
kubectl create serviceaccount dashboard-admin -n kube-system

# 用户授权
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin


# 获取用户Token
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

使用输出的token登录Dashboard。

10、切换容器引擎为Containerd

10.1、安装containerd

yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo

yum install -y containerd.io

mkdir -p /etc/containerd
containerd config default > /etc/containerd/config.toml

10.2、修改配置文件

• pause镜像设置过阿里云镜像仓库地址

• cgroups驱动设置为systemd

• 拉取Docker Hub镜像配置加速地址设置为阿里云镜像仓库地址

vi /etc/containerd/config.toml
   [plugins."io.containerd.grpc.v1.cri"]
      sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.2"  
         ...
         [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
             SystemdCgroup = true
         [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
            endpoint = ["https://b9pmyelo.mirror.aliyuncs.com"]


systemctl restart containerd

配置kubelet使用containerd

vi /etc/sysconfig/kubelet 
KUBELET_EXTRA_ARGS=--container-runtime=remote --container-runtime-endpoint=unix:///run/containerd/containerd.sock --cgroup-driver=systemd



systemctl restart kubelet

验证

kubectl get node -o wide

管理容器工具

containerd提供了ctr命令行工具管理容器，但功能比较简单，所以一般会用crictl工具检查和调试容器。

项目地址：GitHub - kubernetes-sigs/cri-tools: CLI and validation tools for Kubelet Container Runtime Interface (CRI) .

设置crictl连接containerd：

vi /etc/crictl.yaml
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 10
debug: false

下面是docker与crictl命令对照表：

镜像相关功能	Docker	Containerd
显示本地镜像列表	docker images	crictl images
下载镜像	docker pull	crictl pull
上传镜像	docker push	无，例如buildk
删除本地镜像	docker rmi	crictl rmi
查看镜像详情	docker inspect IMAGE-ID	crictl inspecti IMAGE-ID

容器相关功能	Docker	Containerd
显示容器列表	docker ps	crictl ps
创建容器	docker create	crictl create
启动容器	docker start	crictl start
停止容器	docker stop	crictl stop
删除容器	docker rm	crictl rm
查看容器详情	docker inspect	crictl inspect
attach	docker attach	crictl attach
exec	docker exec	crictl exec
logs	docker logs	crictl logs
stats	docker stats	crictl stats