K8S集群部署与配置心得_ingress-nginx init:imagepullbackoff-CSDN博客

本文链接：https://blog.csdn.net/aeaiesb/article/details/121743077

K8S云平台是目前公司核心产品的主推部署方式，通过云平台进行产品、方案部署，可以加快部署效率，特别是针对集群式、高可用部署，云平台具有天然的优势。云平台部署模式在满足常规部署的同时，也提供了对于服务器资源的监控、运维的辅助，能协助运维人员快速进行服务器升级、扩容、启停等操作，降低运维难度。

最近参与了实际项目的K8S集群部署工作，参考已有的部署文档顺利地完成云平台部署，所以在原有的集群部署方案基础上对相关内容进行了梳理，同时也总结了在云平台部署时UMC产品的一些配置内容。

1基础环境

基础环境主要是对服务器进行一些配置工作，以满足K8S云平台部署的需要，由于本次部署采用的是Centos7系统，因此以Centos7为例进行说明，包括各服务器之间的通信、防火墙策略以及一些系统参数等。

1.1主机名称

1.为了便于K8S集群各台服务器之间的通信，对主机名称进行修改。

2.修改hosts文件，添加主机名与IP对应：

1.2安全策略

本文的服务器安全主要针对于服务器防火墙进行处理，包括防火墙端口的开放以及IP白名单配置，以保证云平台部署和后续运行时各服务器之间的通信，以及部署后外部访问的需要。

1.2.1防火墙端口

1.编辑public.xml：

2.添加80端口：

3.保存退出，重启防火墙：

注意：这里采用直接修改配置文件的方式，也可以通过firewall-cmd命令添加。

1.2.2防火墙白名单

1.编辑trusted.xml：

2.添加各服务器IP：

注意：10.244.0.0/16为K8S内部通信IP。

3.保存退出，重启防火墙：

1.3其他配置

服务器一些其他参数的配置，K8S基础环境（非高可用）的部署主要是处理网络映射以及selinux和swap模块，以屏蔽K8S集群部署时的异常信息。

1.3.1网络映射

添加配置文件，将桥接的IPv4流量传递到iptables的链；

1.编辑k8s.conf文件：

2.添加配置：

3.添加完毕后执行生效：

1.3.2selinux

1.修改selinux配置文件：

2.关闭selinux：

3.立即生效：

1.3.3swap

1.临时关闭swap：

2.修改配置文件：

3.永久关闭swap：

2软件安装

主要是安装K8S云平台必要的一些资源，如docker、K8S组件以及一些配置参数，这一部分的内容不论是高可用部署还是非高可用部署都需要安装。

2.1安装Docker

在K8S集群的各台服务器上部署Docker并进行设置启动项。

1.所有服务器都需要安装；

2.非root用于在命令前加“sudo”，并且输入root账户服务器密码；

3.系统没有wget时需要先安装：yum -y install wget。

2.2添加yum源

在/etc/yum.repos.d目录下创建kubernetes.repo文件；

2.3安装K8S组件

安装kubeadm、kubelet、kubectl等K8S组件；

kubeadm: 部署集群用的命令；

kubelet: 在集群中每台机器上都要运行的组件，负责管理pod、容器的生命周期；

kubectl: 集群管理工具（可选，只要在控制集群的节点上安装即可）。

2.4修改Cgroup

修改cgroup driver，消除相应的警告信息；

1.查看Cgroup；

2.修改Cgroup;

3.重新加载docker；

4.修改验证；

3集群配置

主要是在服务器端配置K8S的集群环境，包括Master和Worker节点上软件的部署，集群的启动及节点的加入，同时部署网络插件以实现集群节点的通信。

3.1部署Master

Master是K8S集群部署的关键，集群部署大部分工作都是在Master上处理，包括集群的部署、初始化以及启动，一般Worker节点只是在Master部署完成后加入集群即可。

3.1.1部署步骤

1.在/opt目录下创建kubeadm-config.yaml；

参数解释：

2.通过阿里源预先拉镜像；

3.查看镜像（共7个镜像）；

4.执行节点初始化；

5.执行如下命令；

6.查看nodes；

7.查看pods；

注意：node现在是NotReady状态，pod中coredns是Pending状态，是因为CNI网络插件未安装，继续3.2。

3.1.2集群重置

注意：如果修改过配置，修改完之后，需要重新初始化，重新搭建（没问题直接跳过）。

注意：如果使用kubeadm reset命令重置集群，CNI插件也需要重新安装。

3.2部署CNI插件

CNI是集群各节点进行通信的网络插件，是集群部署时的必需步骤，只有部署网络插件才能建立集群，加入节点，当然网络插件不止一种，这里我们采用flannel插件。

3.2.1资料准备

直接使用下列文件：

3.2.2安装过程

1.安装flannel；

2.再次查看nodes和pods（需要等待flannel初始化完成）；

注意：quay.io国内无法访问，可能会报错Init:ImagePullBackOff，需要多等待一会进行重试。

如果网络完全不通，使用flanneld-v0.12.0-amd64.docker手动安装在所有节点上。

注意：如果使用kubeadm reset命令重置集群，CNI插件也需要重新安装。

3.3加入Node

在192.168.1.222/223（Node）上执行。

1.向集群添加新节点，执行在kubeadm init输出的kubeadm join命令：这个在master init初始化时会有提示。

2.在192.168.1.221（Master）上查看nodes和pods。

3.192.168.1.223（worker2）采用同样方式加入即可。

注意：如果提示如下错误，需要删除/etc/kubernetes下面的manifests文件夹然后重新init和安装kube-flannel.yml，步骤同上：

删除操作步骤：

3.4部署Ingress

Ingress也叫Ingress-nginx，实际是Nginx的一种实现，主要是用于K8S集群内部代理转发的需要。

3.4.1镜像上传

nginx-ingress.tar上传到192.168.1.221（Master）上，路径自己能找到就行（如果下面的mandatory.yaml里配置指定master，这里可以只放到指定的master就可以），导入镜像：

3.4.2配置文件

参考文件如下：

1)编辑添加212行，表示使用主机网络；

hostNetwork: true

关于上面yaml文件中写入的“hostNetwork: true”具体解释：如果添加了此字段，意味着pod中运行的应用可以直接使用node节点端口，这样node节点主机所在网络的其他主机，就可以通过访问该端口访问应用。（类似于docker映射到宿主机的端口）。

2)编辑221行，修改镜像版本，改成上面导入的0.29.0；

上传到192.168.1.221（Master）服务器，路径自己能找到就行。

3)设置pod时间，通常情况云服务器的时区为世界标准时间，和中国标准时间相差8个小时；

加入红框部分，如下图：

3.4.3节点部署

1.因为ingress-controller我们需要部署到master服务器上，而默认master不允许部署pod，所以使用如下方法解决；

输出如下：node “k8s” untainted。

输出error: taint “node-role.kubernetes.io/master:” not found错误忽略。

2.执行mandatory.yaml；

3.确认Ingress-nginx容器；

注意：Ingress-nginx部署后为Pending状态，需要添加标签后采用变成Running状态，可以通过UMC添加标签，所以只需要确认Ingress-nginx容器已经存在即可。

3.4.4开启变量

1.内部ingress-nginx，data参数说明：

1)proxy-add-original-uri-header: "true"

作用：获取到ingress的完整路径。

2)enable-underscores-in-headers: "true"

作用：允许ingress支持自定义变量。

3)use-forwarded-headers: "true"

作用：获取X-Forwarded-Proto，如https。

2.外部nginx.conf配置追加：

proxy_set_header proxy-by-outer-ng true

作用：如果true，说明是外部nignx，不带ingress路径。

如果false，不是外部nginx，需要加ingress路径。

4NFS安装

NFS主要是搭建共享资源库，用于产品部署后的资源共享，包括配置文件、日志文件以及Server部署的资源文件等。

4.1服务端

1.在192.168.1.221（Master）上安装NFS和rpc；

2.启动服务和设置开启启动；

3.建立共享文件夹；

4.设置共享；

说明：

/opt/mnt/volumes 192.168.1.0/24(fsid=0,rw,async,no_root_squash)

目录授权给网段权限

注意：192.168.1.0/24是Master的网段，如果需要修改，只修改前3个位置，保留最后一位是0，即可表示全网段可以访问。

5.启动NFS；

6.查看2049端口是否打开；

4.2客户端

1.在192.168.1.222/223（Worker）上也安装nfs，确保每个节点安装nfs（客户端上不需要启动nfs服务，只是为了使用showmount工具）；

2.查看挂载配置；

4.检查（有就行，和顺序无关）；

5镜像库安装

搭建镜像库，用于存储上传的镜像文件，包括系统镜像、产品Server、Redis镜像等。

5.1部署安装

1.将registry镜像pull下来；

2.启动；

5.2基础镜像

1.上传基础镜像：base-centos-v3.0.tar；

2.导入基础镜像；

5.3推送镜像

1.查询docker镜像：docker images；

2.通过对base-centos镜像打标，准备发布到Registry中；

3.推送给Registry；

注意：如果上传、获取本地镜像会提示如下报错，需要设置daemon.json文件。

1.设置daemon.json文件；

2.其他节点获取本地镜像会提示。

由于Registry为了安全性考虑，默认是需要https证书支持的，但是我们可以通过一个简单的办法解决：

注意：<ip>：Registry的机器ip地址，在安装registry的节点和客户端需要访问私有Registry的节点都需要执行此步操作。

5.4查看镜像

1.查看仓库有哪些镜像，运行如下命令：

查看具体镜像标签（黄色是镜像名）：

6UMC配置

UMC产品以及JDK、MySQL、Nginx、Redis的部署安装与配置可以参考相关部署手册，不做重点说明，这里主要介绍UMC中集群的配置与启动。

6.1集群配置

1.首先需要配置镜像仓库，打开UMC的镜像仓库，点击新增，配置地址：

2.打开租户管理，新增一个租户，也可以使用默认的预置集团租户，在基础信息中选择刚才添加的镜像库地址：

3.打开集群配置，新增一个集群，配置共享目录（部署NFS时的共享目录）：

4.先从192.168.1.221（Master）的/etc/kubernetes/admin.conf文件复制到本地，然后点击上传授权按钮上传文件：

5.在节点信息中配置3台服务器的各个节点（Master、Worker1、Worker2）：

6.创建命名空间（可以先不建立，在集群配置时增加命名空间）：

7.创建标签，UMC初始化有预置标签信息，可以手动新增：

8.新增镜像，并选择相应的产品，选择配置的镜像仓库：

9.上传产品压缩包（rar格式），并根据按钮的高亮，构造镜像、推送镜像：

6.2租户配置

1.在租户配置功能下新增方案：

2.在方案下新增环境：

3.选择环境的集群名称：

4.新增命名空间（和集群配置的命名空间同步）：

5.切换参数配置标签，配置数据库、Redis连接信息：

6.生成并保存访问地址：

7.依次点击Deploy、Service、Ingress的编辑按钮进行创建：

8.访问测试：

7分析总结

K8S云平台部署模式是后续所有产品和方案统一采用的部署方案，通过云平台模式不仅可以降低产品部署、运维的难度，同时对于服务器的资源监控、统计分析也能发挥作用，实现集中的、一体化管理。

7.1问题总结

笔者是第一次在实际项目中整体进行K8S云平台的部署，虽然是第一次部署，但是借鉴于部署文档以及以往项目的部署经验，整体部署过程还是比较顺利的。但是在部署的过程中难免会遇到一些问题，后续梳理了一遍部署过程，出现的问题在文档中都有体现和说明，只是浏览文档不认真或者由于文档记录的相对简单，所以才忽略了。这也提醒了自己后续工作中一定要仔细认真，在做事情前最好有一个总体地了解，这样工作中才能尽量减少问题的发生。

7.2产品方案

UMC云平台实际是一个K8S的管理平台，通过Web端配置实现对K8S集群的配置、启停、监控、扩容等操作，并且通过UMC的管理功能可以将产品组件方案直接融合到平台中，实现不同产品、不同方案的快速部署，同时也提供租户、方案、环境等不同粒度的管控，可集中、可分散，并且通过命名空间有效地实现数据隔离。

目前K8S部署都是采用手动部署的模式，即手动在服务器上部署一个个软件，后续部署方式会进行升级，提供一键部署方案，预置一键部署脚本，只需要在服务器执行脚本，就能对相关软件自动安装、自动部署集群、添加节点，大大提升部署速度，提高工作效率的同时，更能体现出专业性。