在centos-8环境下使用Kubespray部署Kubernetes生产集群

一、在centos-8环境下使用Kubespray部署Kubernetes生产集群

1. 服务器说明

1.1. 节点要求

节点数 >=3台

CPU >=2

Memory >=2G

安全组：关闭（允许节点之间任意端口访问，以及ipip隧道协议通讯）

具体信息如下表：

系统类型	IP地址	节点角色	CPU	Memory	Hostname
centos-8.5	...	master	>=2	>=2G	syn-node-1
centos-8.5	...	master	>=2	>=2G	syn-node-2
centos-8.5	...	worker	>=2	>=2G	syn-node-3

2. 系统设置（所有节点）

注意：所有操作使用root用户执行

2.1 主机名

主机名必须合法，并且每个节点都不一样（建议命名规范：数字+字母+中划线组合，不要包含其他特殊字符）。hostname

# 查看主机名
$ hostname
# 修改主机名
$ hostnamectl set-hostname <your_hostname>

2.2 关闭防火墙、selinux、swap，重置iptables

# 关闭selinux
$ setenforce 0
$ sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config
# 关闭防火墙
$ systemctl stop firewalld && systemctl disable firewalld

# 设置iptables规则
$ iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat && iptables -P FORWARD ACCEPT
# 关闭swap
$ swapoff -a && free –h

# 关闭dnsmasq(否则可能导致容器无法解析域名)
$ service dnsmasq stop && systemctl disable dnsmasq

2.3 k8s参数设置

# 制作配置文件
$ cat > /etc/sysctl.d/kubernetes.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_nonlocal_bind = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
vm.overcommit_memory = 1
EOF
# 生效文件
$ sysctl -p /etc/sysctl.d/kubernetes.conf

2.3.1 k8s参数设置中常见问题

sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-ip6tables: 没有那个文件或目录
sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-iptables: 没有那个文件或目录

问题案例：

sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-ip6tables: 没有那个文件或目录
sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-iptables: 没有那个文件或目录

解决方案：

modprobe  br_netfilter       #加载模块

PS：modprobe -r br_netfilter #卸载模块

2.4 移除docker相关软件包（可选）

$ yum remove -y docker*
$ rm -f /etc/docker/daemon.json

2.5 依赖软件下载、安装

# 安装基础软件
$ yum install -y epel-release python39 python3-pip git
# 升级pip
$ pip3.9 install --upgrade pip

2.6 依赖软件下载、安装中常见问题

在 CentOS 8 中使用 yum 命令安装软件时会出现 “错误：为仓库 ‘appstream’ 下载元数据失败 : Cannot prepare internal mirrorlist: No URLs in mirrorlist“，如下图所示：

问题案例：

错误：为仓库 'appstream' 下载元数据失败 : Cannot prepare internal mirrorlist: No URLs in mirrorlist

解决方案：

sed -i -e "s|mirrorlist=|#mirrorlist=|g" /etc/yum.repos.d/CentOS-*
sed -i -e "s|#baseurl=http://mirror.centos.org|baseurl=http://vault.centos.org|g" /etc/yum.repos.d/CentOS-*

PS：错误提示的原因是CentOS 8 已于2021年12月31日停止官方服务了，但软件包仍在官方镜像上保留了一段时间。现在他们被转移到 https://vault.centos.org。如果你仍然需要运行 CentOS 8，你可以在 /etc/yum.repos.d 中更新一下源。使用 http://vault.centos.org 代替 http://mirror.centos.org 即可。

3. 使用kubespray部署集群

这部分只需要在一个 操作 节点执行，可以是集群中的一个节点，也可以是集群之外的节点。甚至可以是你自己的笔记本电脑。我们这里使用更普遍的集群中的任意一个linux节点。

3.1 配置免密

使 操作 节点可以免密登录到所有节点

# 1. 生成keygen（执行ssh-keygen，一路回车下去）
$ ssh-keygen
# 2. 查看并复制生成的pubkey
$ cat /root/.ssh/id_rsa.pub
# 3. 分别登陆到每个节点上，将pubkey写入/root/.ssh/authorized_keys
$ mkdir -p /root/.ssh
$ echo "<上一步骤复制的pubkey>" >> /root/.ssh/authorized_keys

例：
$ echo "ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABgQCczqBhc6R/lhR4FpcMAX833p8jy0YffTF/gjwv+RxX0tUh3qceqSJ6DKe7AqL02qwCeR+CX555YhGwLJsQEX6B3jU3K66vVJM2nT34Be0HjEj0j1bKii9X2aIex+wTsrYP2lq/wMsMqcB7omFEtkQmBtZT9r99yeMwkUDUmjHfz/jfpX7pEhtN5EqgjZQbAYjEa1+4YJVXQxBnlmcTubPGw808hH4HqLH2jG+znMuj3YUCJc5BCAb9OU36y2nZ3H4r+GBUsl4oghDUQTPZ515GbgMukH7U/lE15Y/r7zC8bEm7UyaVne9fmbwwP5UNwXbWOwYGYgYuh998d9uAUuPAansIIJvoRzMpQqLNfB8npQHIUCn1LrioWTtAi5Bqd95jZZsl5FGaLk1izk2r2ekBPtpaV5k106GJ5UuKr0nLAxyZf8OU4Rp5lsKicQk9gt4T1Eh0+S8kiHtUW8lTyZhUNwB0xKC7w8Lm5yC+VUnKUE0AJt3uNULE3gvPHyhhmz0= root@syn-node-1" >> /root/.ssh/authorized_keys 

3.2 依赖软件下载、安装

依赖软件下载、安装（v2.24.1）

# 下载kubespray源码
$ wget https://github.com/kubernetes-sigs/kubespray/archive/v2.24.1.tar.gz
# 解压缩并切换到kubespray-2.24.1目录下
$ tar -xvf v2.24.1.tar.gz && cd kubespray-2.24.1

$ cat requirements.txt
$ pip3.9 install -r requirements.txt

## 如果install遇到问题可以先尝试升级pip
## $ pip3.9 install --upgrade pip
## 执行下语句：
## $ python3 -m pip install -r requirements.txt

3.3 生成配置

项目中有一个目录是集群的基础配置，示例配置在目录inventory/sample中，我们复制一份出来作为自己集群的配置

# copy一份demo配置，准备自定义
$ cp -rpf inventory/sample inventory/mycluster

由于kubespray给我们准备了py脚本，可以直接根据环境变量自动生成配置文件，所以我们现在只需要设定好环境变量就可以啦

# 使用真实的hostname（否则会自动把你的hostname改成node1/node2...）
$ export USE_REAL_HOSTNAME=true
# 指定配置文件位置
$ export CONFIG_FILE=inventory/mycluster/hosts.yaml
# 定义ip列表（你的服务器内网ip地址列表，3台及以上，前两台默认为master节点）
$ declare -a IPS=(172.17.0.1 172.17.0.2 172.17.0.3)
# 生成配置文件
$ python3.9 contrib/inventory_builder/inventory.py ${IPS[@]}

3.4 个性化配置

配置文件都生成好了，虽然可以直接用，但并不能完全满足大家的个性化需求，比如用docker还是containerd？docker的工作目录是否用默认的/var/lib/docker？等等。当然默认的情况kubespray还会到google的官方仓库下载镜像、二进制文件，这个就需要你的服务器可以上外面的网，想上外网也需要修改一些配置。

# 定制化配置文件
# 1. 节点组织配置（这里可以调整每个节点的角色）
$ vi inventory/mycluster/hosts.yaml
# 2. containerd配置（新版本默认是使用containerd作为容器引擎）
$ vi inventory/mycluster/group_vars/all/containerd.yml
# 3. 全局配置（可以在这配置http(s)代理实现外网访问，后续需要梯子上网）
$ vi inventory/mycluster/group_vars/all/all.yml
# 4. k8s集群配置（包括设置容器运行时、svc网段、pod网段等）
$ vi inventory/mycluster/group_vars/k8s_cluster/k8s-cluster.yml
# 5. 修改etcd部署类型为host（默认是docker）
$ vi ./inventory/mycluster/group_vars/etcd.yml
# 6. 附加组件（ingress、dashboard等）
$ vi ./inventory/mycluster/group_vars/k8s_cluster/addons.yml

3.5 一键部署

配置文件都调整好了后，就可以开始一键部署了

一键部署

# -vvvv会打印最详细的日志信息，建议开启
$ ansible-playbook -i inventory/mycluster/hosts.yaml  -b cluster.yml -vvvv

经过漫长的等待后，如果没有问题，整个集群都部署起来了

3.6 清理代理设置

清理代理设置（运行时不再需要代理，删掉代理配置即可）

删除docker的http代理（在每个节点执行）

$ rm -f /etc/systemd/system/containerd.service.d/http-proxy.conf
$ systemctl daemon-reload
$ systemctl restart containerd

删除yum代理

# 把grep出来的代理配置手动删除即可
$ grep 8118 -r /etc/yum*

3.7 简单测试

# 使用crictl命令对各个节点进行测试
$ crictl