【KeyarchOS】Kubernetes安装部署实践-从零开始配置K8s 集群

目录

1 概述

2 安装准备

2.1 操作系统环境

2.2 Kubernetes版本

2.3 Docker版本

3 安装

3.1 安装Kubernetes

3.2 部署Kubernetes集群

4 常见问题

---

1 概述

浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统，支持x86、ARM等主流架构处理器，性能和稳定性居于行业领先地位，具备成熟的 CentOS 迁移和替换能力，可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。详细介绍见官网链接浪潮信息KOS服务器操作系统-服务器操作系统-浪潮信息。

kubernetes，简称K8s，是用8代替名字中间的8个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。 

传统的应用部署方式是通过插件或脚本来安装应用。这样做的缺点是应用的运行、配置、管理、所有生存周期将与当前操作系统绑定，这样做并不利于应用的升级更新/回滚等操作，当然也可以通过创建虚拟机的方式来实现某些功能，但是虚拟机非常重，并不利于可移植性。

新的方式是通过部署容器方式实现，每个容器之间互相隔离，每个容器有自己的文件系统 ，容器之间进程不会相互影响，能区分计算资源。相对于虚拟机，容器能快速部署，由于容器与底层设施、机器文件系统解耦的，所以它能在不同云、不同版本操作系统间进行迁移。

容器占用资源少、部署快，每个应用可以被打包成一个容器镜像，每个应用与容器间成一对一关系也使容器有更大优势，使用容器可以在build或release 的阶段，为应用创建容器镜像，因为每个应用不需要与其余的应用堆栈组合，也不依赖于生产环境基础结构，这使得从研发到测试、生产能提供一致环境。类似地，容器比虚拟机轻量、更“透明”，这更便于监控和管理，详情见官网：https://kubernetes.io/。

2 安装准备

2.1 操作系统环境

版本信息：KeyarchOS 5.8sp1（两台，分别作为master主节点和node节点）

硬件平台：X86

2.2 Kubernetes版本

版本号：kubernetes 1.20.5

GitHub主页：GitHub - kubernetes/kubernetes: Production-Grade Container Scheduling and Management

2.3 Docker版本

版本号：Docker-20.10.16(已经在KOS AppSteam仓库发布)

3 安装

3.1 安装Kubernetes

1、编辑master节点和node节点的 /etc/hostname 文件，分别设置为master和node,编辑/etc/resolv.conf,添加DNS

nameserver 8.8.8.8

nameserver 114.114.114.114

2、关闭防火墙和Selinux，以及swap分区

sed -i 's/enforcing/disabled/' /etc/selinux/config

setenforce 0

systemctl stop firewalld

systemctl disable firewalld

swapoff -a

sed -ri 's/.*swap.*/#&/' /etc/fstab

3、添加网桥过滤和地址转发功能--执行sysctl --system生效

cat > /etc/sysctl.d/99-sysctl.conf << EOF

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

net.ipv4.ip_forward = 1

EOF

4、Docker-20.10.16已经在KOS AppSteam仓库发布，可以通过yum install直接安装：

yum install docker

5.启动docker

systemctl enable docker

systemctl start docker

systemctl status docker

6、配置docker的cgroupdriver，重新加载配置文件，重启docker

vim /etc/docker/daemon.json

{

  "exec-opts": ["native.cgroupdriver=systemd"],

 "storage-driver": "overlay2",

  "log-driver": "json-file",

  "log-opts": {

    "max-size": "100m"

  },

  "registry-mirrors": ["https://b9307g5p.mirror.aliyuncs.com"]

}

systemctl daemon-reload

systemctl restart docker

7、配置镜像地址

新加一个kubernetes.repo文件：

[kubernetes]

name=Kubernetes

baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/

# 是否开启本仓库

enabled=1

# 是否检查 gpg 签名文件

gpgcheck=0

# 是否检查 gpg 签名文件

repo_gpgcheck=0

gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

8、所有节点安装kubelet、kubeadm、kubectl并指定版本号

yum install  kubelet-1.20.5 kubeadm-1.20.5 kubectl-1.20.5

9、启动kubelet

systemctl enable kubelet

systemctl start kubelet

 10、查看 kubelet状态systemctl status kubelet

master节点：

node节点：

3.2 部署Kubernetes集群

1、首先要覆盖kubeadm的镜像地址，因为这个是外网的无法访问，需要替 换成国内的镜像地址，使用此命令列出集群在配置过程中需要哪些镜像：

kubeadm config images list

更改为阿里云的镜像地址：

kubeadm config images list  --image-repository registry.aliyuncs.com/google_containers

然后将镜像手动拉取下来，这样在初始化的时候回更快一些：

kubeadm config images pull  --image-repository registry.aliyuncs.com/google_containers

2、初始化kubernetes（只需要在master节点上操作初始化命令，修改为自己的配置信息）

kubeadm init \

  --apiserver-advertise-address=10.49.41.12 \

  --image-repository registry.aliyuncs.com/google_containers \

  --kubernetes-version v1.20.5 \

  --pod-network-cidr=10.244.0.0/16 \

  --ignore-preflight-errors=all

执行完后手动执行一些参数

 

加入集群的join命令 需要复制记录下来，例：

kubeadm join 10.49.41.8:6443 --token bdsrsy.qk8hkkg5gkhc0hl3 \

--discovery-token-ca-cert-hash sha256:3bddfe10d1c60fe1f8da9438ac4d98f4f6656bc6bdc7b80b70fd6549b7609695

3、设定kubeletl网络（主节点部署）

下载kube-flannel.yml并上传至服务器

链接：https://pan.baidu.com/s/1QuZar4eKgErRpvjx_2Wkgg?pwd=9077

下载完成后之后修改yml文件为自己的服务器配置

 安装组件kubectl apply -f kube-flannel.yml

查看flannel pod状态（必须要为Running状态，如果kube-flannel起不 来，那么就用kubectl describe pod [pod名称] -n kube-flannel命令查看pod起不来的原因，然后去搜度娘获取解决方案）

 4、查看通信状态

主节点查看节点状态

5、子节点加入集群（在子节点上操作）

上文中的加入集群的join命令 需要复制记录下来，例：

kubeadm join 10.49.41.8:6443 --token bdsrsy.qk8hkkg5gkhc0hl3 \

--discovery-token-ca-cert-hash sha256:3bddfe10d1c60fe1f8da9438ac4d98f4f6656bc6bdc7b80b70fd6549b7609695

加入之后再在主节点查看集群中节点的状态，若状态都为Ready所有的子节 点加入完成，集群部署完成。

4 常见问题

coredns 0/1 running 日志报错为10.96.0.1:443连不上或超时，先查看 kube-proxy的日志，日志中如果为iptables相关，参考下面的解决方案：

日志：

解决方案：

modprobe ip_tables

modprobe iptable_filter