CentOS 9安装Kubernetes(k8s)集群

前言

1、版本说明

系统版本:CentOS 9

k8s版本:v1.29.5

docker版本:26.1.3

harbor:v2.9.4

2、提前准备好1台虚拟机,可以参考博客:Vmware 17安装 CentOS9

3、虚拟机提前安装好docker,参考博客:CentOS7安装docker以及docker-compose

4、如果部署k8s集群的时候使用个人的镜像仓库,请提前部署好,本人使用的是harbor搭建的私有仓库,可以参考博客:搭建Harbor镜像仓库

5、集群部署参考官方文档:使用 kubeadm 创建集群 | Kubernetes 

6、集群中的网络插件安装文档参考:Calico网络插件安装

7、以下是本人4台虚拟机的ip地址以及主机名信息,其中一台为镜像仓库

节点主机名ip
主节点k8s-master192.168.65.130
节点1k8s-node1192.168.65.131
节点2k8s-node2192.168.65.132
私有镜像仓库k8s-harbor192.168.65.135

三台虚拟机环境准备

克隆3台虚拟机

我这里已经安装好了一台CentOS 9的虚拟机,并且此虚拟机已经安装好了docker环境,在此虚拟机基础上克隆出来3台。

1、开始克隆

2、直接下一步

3、选择虚拟机中的当前状态,然后点击下一步

4、选择创建完整克隆,点击下一步

5、输入虚拟机名称,选择存储位置,点击完成

 6、等待克隆完成,点击关闭

7、重复步骤1-6,克隆出另外2台虚拟机,我的另外两台虚拟机名称分别为node1和 node2,克隆完成后如下,总共3台

修改虚拟机信息

修改虚拟机的 mac地址

1、点击编辑虚拟机设置

2、硬件-----网络适配器-----高级

3、点击生成,生成新的mac地址 ,然后点击确定

 4、点击处理器,勾选虚拟化引擎,然后点击确定

5、重复步骤1-4,修改另外2台虚拟机的mac地址,勾选虚拟化选项

修改虚拟机主机名、ip地址和uuid 

1、点击开启此虚拟机,启动虚拟机,使用终端登录虚拟机

2、修改虚拟机主机名称

# 修改主机名
hostnamectl set-hostname k8s-master

# 查看主机名
hostname

3、修改虚拟机ip地址和uuid

3.1、生成UUID

uuidgen

3.2、修改网卡信息

vim /etc/NetworkManager/system-connections/ens160.nmconnection

 修改以下信息并保存,新的ip地址要在vmware分配的ip范围内

4、重新启动网卡

nmcli connection reload ens160

 5、重复步骤1-4修改另外2台虚拟机的信息

关机做快照 (可选)

1、以上操作做好之后,防止后面做集群的时候出问题,我这里先关机做个快照(关机做快照速度快),这一步并非是必须要做的,看个人情况。

2、做好快照后,记得重新启动所有虚拟机 

集群前置工作(三台机器都执行)

修改hosts

1、修改hosts,域名映射 命令如下

echo "192.168.65.130 k8s-master.com k8s-master" >> /etc/hosts
echo "192.168.65.131 k8s-node1.com k8s-node1" >> /etc/hosts
echo "192.168.65.132 k8s-node2.com k8s-node2" >> /etc/hosts
echo "192.168.65.135 k8s-harbor.com k8s-harbor" >> /etc/hosts

2、另外2台也同样操作,最终3台虚拟机的hosts如下,我这里把镜像仓库的那台机器也做了域名映射,方便后面使用

k8s-master

k8s-node1

 k8s-node2

关闭防火墙

关闭防火墙,并禁止开机自启。修改防火墙的状态后需要把docker重启下

# 关闭防火墙
systemctl stop firewalld.service

# 禁止开机自启
systemctl disable firewalld.service

# 重启docker
systemctl restart docker

docker镜像加速

registry-mirrors:镜像加速地址,我这里使用的是阿里云的镜像加速器

insecure-registries:私有仓库地址,我这里使用的是自己的harbor仓库,如果你没有使用个人仓库也可以不用加

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://******.mirror.aliyuncs.com"],
  "insecure-registries": ["192.168.65.135","k8s-harbor.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

docker开机自启

systemctl enable docker

安装容器运行时

转发 IPv4 并让 iptables 看到桥接流量

vm.swappiness参数记得加上,禁止交换分区 

cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF

sudo modprobe overlay
sudo modprobe br_netfilter

# 设置所需的 sysctl 参数,参数在重新启动后保持不变
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
vm.swappiness						= 0
EOF

# 应用 sysctl 参数而不重新启动
sudo sysctl --system

关闭交换分区

# 临时关闭
swapoff -a

# 永久关闭  
sed -ri 's/.*swap.*/#&/' /etc/fstab

确认 br_netfilteroverlay 模块被加载

lsmod | grep br_netfilter
lsmod | grep overlay

系统变量是否被设置为 1

sysctl net.bridge.bridge-nf-call-iptables net.bridge.bridge-nf-call-ip6tables net.ipv4.ip_forward

安装配置containerd

安装containerd(略过)

这一步在安装docker的时候已经安装过了,不在重复安装,安装docker的时候会安装containerd.io,具体命令如下图

下面是官方文档的参考地址

https://github.com/containerd/containerd/blob/main/docs/getting-started.md
 配置containerd

1、查看默认内容

cat /etc/containerd/config.toml

2、生成默认配置内容

containerd config default > /etc/containerd/config.toml

3、修改生成的文件内容

vim /etc/containerd/config.toml

 主要修改三个地址

1、SystemdCgroup的值改为true
SystemdCgroup = true

2、替换sandbox的镜像地址和版本
sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.9"

3、添加镜像加速
[plugins]
    [plugins."io.containerd.grpc.v1.cri".registry]
      ...
      [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
      # 以下内容为新添加
      [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
        endpoint = ["https://te2osmuz.mirror.aliyuncs.com"]
      [plugins."io.containerd.grpc.v1.cri".registry.mirrors."k8s.gcr.io"]
        endpoint = ["registry.aliyuncs.com/google_containers"]

      [plugins."io.containerd.grpc.v1.cri".registry.mirrors."k8s-harbor.com"]
         endpoint = ["http://k8s-harbor.com:80"]

3.1、修改SystemdCgroup的值

3.2、修改sandbox的镜像地址和版本

sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.9"

3.3、添加私有镜像

[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
  endpoint = ["https://te2osmuz.mirror.aliyuncs.com"]
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."k8s.gcr.io"]
  endpoint = ["registry.aliyuncs.com/google_containers"]
​​​​​​​[plugins."io.containerd.grpc.v1.cri".registry.mirrors."k8s-harbor.com"]
  endpoint = ["http://k8s-harbor.com:80"]

重启containerd
systemctl daemon-reload
systemctl restart containerd
systemctl status containerd

禁用SELinux

将 SELinux 设置为 permissive 模式(相当于将其禁用)

sudo setenforce 0
sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

安装工具

添加 Kubernetes 的 yum 仓库

关于如何设置阿里云镜像源可以参考:Kubernetes镜像

cat <<EOF | tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.29/rpm/
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.29/rpm/repodata/repomd.xml.key
EOF

安装

yum install -y kubelet kubeadm kubectl

启动kubelet 

systemctl enable kubelet && systemctl start kubelet

 查看状态

kubelet会一直重启,这是正常现象,等集群初始化好之后就可以正常启动了

systemctl status kubelet

主节点初始化 (以下操作只在主节点执行)

生成默认配置文件

kubeadm config print init-defaults > kubeadm.conf

v1.29.5版本输出内容如下:

apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 1.2.3.4
  bindPort: 6443
nodeRegistration:
  criSocket: unix:///var/run/containerd/containerd.sock
  imagePullPolicy: IfNotPresent
  name: node
  taints: null
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.k8s.io
kind: ClusterConfiguration
kubernetesVersion: 1.29.0
networking:
  dnsDomain: cluster.local
  serviceSubnet: 10.96.0.0/12
scheduler: {}

修改配置文件内容

主要修改以下几个地方

1、advertiseAddress:改为当前主机的ip地址

2、nodeRegistration.name:改为当前主机的hostname

3、imageRepository:我这里改成自己的私人仓库地址了,如果自己有的话可以改成自己的,没有的话可以改成阿里云的镜像源地址:registry.aliyuncs.com/google_containers

4、新添加KubeletConfiguration,指定驱动类型。内容如下:

---

kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
cgroupDriver: systemd

5、serviceSubnet:这个看情况,如果自己想改的话也可以改,我这里用的默认的

6、podSubnet:指定容器的ip段 

7、kubernetesVersion:改为当前对应的版本

上传镜像到私有仓库

如果不使用私有镜像仓库的可以直接跳过这一步。直接开始下面的初始化

脚本内容如下push_images.sh

#!/bin/bash

# 登录私有仓库
res=`docker login -u $1-p $2 k8s-harbor.com`

images=$(kubeadm config images list --kubernetes-version v1.29.5 | awk -F '/' '{print $NF}')
for item in ${images}
do
  docker pull registry.aliyuncs.com/google_containers/${item}
  # 镜像重新打标签
  docker tag registry.aliyuncs.com/google_containers/${item} k8s-harbor.com/google_containers/${item}
  # 上传到私有仓库 
  docker push k8s-harbor.com/google_containers/${item}
done

赋予可执行权限

chmod +x push_images.sh

# 执行脚本,记得传入参数
./push_images <username> <password>

脚本执行结束后就可以在私有仓库中看到刚才上传的镜像了

开始初始化

kubeadm.conf:自定义的配置文件的名称

kubeadm init --config kubeadm.conf

将下面这段话复制下来,后面会用到

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.65.130:6443 --token abcdef.0123456789abcdef \
        --discovery-token-ca-cert-hash sha256:8eaeb4ce72361621049e32c458d0a931e6e0f6d543529287c63d1c7dc4b35c34

创建配置文件

按照初始化成功的提示开始创建配置文件

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

安装网络插件

这里安装的网络插件是Calico,官方文档

下载并执行配置文件

文件下载后要使用kubectl create 命令去执行,不要使用kubectl apply ,官方文档对这个有特别说明

wget https://raw.githubusercontent.com/projectcalico/calico/v3.27.3/manifests/tigera-operator.yaml
kubectl create -f tigera-operator.yaml

wget https://raw.githubusercontent.com/projectcalico/calico/v3.27.3/manifests/custom-resources.yaml

修改custom-resources.yaml

vim custom-resources.yaml

修改cidr的值

calicoNetwork:
    ipPools:
    - name: default-ipv4-ippool
      blockSize: 26
      cidr: 192.168.110.0/24 # 修改为kubeadm.conf中podSubnet的值

执行 custom-resources.yaml

kubectl create -f custom-resources.yaml

节点加入

节点node1加入

 在node1上执行以下命令

kubeadm join 192.168.65.130:6443 --token abcdef.0123456789abcdef \
        --discovery-token-ca-cert-hash sha256:8eaeb4ce72361621049e32c458d0a931e6e0f6d543529287c63d1c7dc4b35c34

节点node2加入 

kubeadm join 192.168.65.130:6443 --token abcdef.0123456789abcdef \
        --discovery-token-ca-cert-hash sha256:8eaeb4ce72361621049e32c458d0a931e6e0f6d543529287c63d1c7dc4b35c34

在master查看节点信息

 如果节点显示NotReady,则等待几分钟,等所有pod创建完成即可

所有节点加入成功

安装kubepi

我这里并没有安装官方的可视化控制面板,而是使用了另外一个可视化管理工具kubepi

下载镜像

docker pull 1panel/kubepi

 创建挂载目录

mkdir -p /root/server/kubepi

启动镜像

docker run --privileged -p 8010:80 \
--name kubepi \
-v /root/server/kubepi:/var/lib/kubepi \
--restart=unless-stopped \
-d 1panel/kubepi

访问kubepi

访问地址:ip:port 例如我的:192.168.65.130:8010

默认的账户名和密码:admin/kubepi

 导入k8s集群

点击导入按钮,配置k8s。k8s的配置信息在$HOME/.kube/config中

查看集群信息 

集群搭建过程常见问题

1、安装网络插件calico域名raw.githubusercontent.com无法访问

可以使用第三方网站查看dns对应的ip地址,然后修改自己的hosts文件,这里只是举个例子

# 修改hosts
vim /etc/hosts

# 追加以下内容
185.199.111.133 raw.githubusercontent.com

# 重新下载文件

2、no matches for kind "Installation" in version "operator.tigera.io/v1"

1、这个是在安装Calico网络插件的时候遇到的,主要原因是因为我安装的时候使用的是kubectl apply命令,将其更换为kubectl create即可 ,具体原因可以参考官网说明

2、如果不是因为执行命令的问题,就是Calico版本不匹配,更换为合适的版本即可

3、机器重启后kubelet起不起来

1、看下是不是之前关闭交换分区的时候只是临时关闭了(swapoff -a)具体原因可以参考报错日志,我的没启起来是因为交换分区重启后又打开了,永久关闭即可,永久关闭的命令文章中已提过。

2、确保kubelet、docker、容器运行时(containerd)已启动

补充说明

文章中有两个地方配置了镜像仓库的地址

1、docker的配置文件/etc/docker/daemon.json文件,这个是使用docker拉取镜像是使用的加速器和仓库地址

2、容器运行时containerd的配置/etc/containerd/config.toml文件,因为这里使用的容器运行时是containerd,所以k8s拉取镜像的时候不会使用docker命令,而是使用crictl命令,所以k8s拉取镜像的时候会使用config.toml文件中关于镜像相关的配置

结束语

以上便是k8s集群的整个部署过程,部署过程中需要下载镜像信息,可以使用给的脚本将其提前下载下来 ,对于k8s的网络插件官方文档提供了多种,可以根据情况自行安装其中一个即可。最重要的一点要保证kubelet、docker、容器运行时(containerd)设置为开机自启。可以使用命令查看是否开启开机自启:systemctl is-enabled <服务名称>

  • 26
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CentOS 8上安装Kubernetes版本1.23.9有一些步骤需要跟随。以下是一个简单的步骤指南: 1. 首先,您需要确保您的CentOS 8系统处于最新状态。运行以下命令来更新软件包: ``` sudo dnf update ``` 2. 安装Docker引擎,因为Kubernetes需要Docker进行容器化。运行以下命令安装Docker: ``` sudo dnf install docker ``` 3. 启动Docker服务并将其设置为在系统启动时自动启动: ``` sudo systemctl start docker sudo systemctl enable docker ``` 4. 添加Kubernetes存储库。在CentOS 8上,您可以使用dnf来添加存储库。运行以下命令: ``` sudo dnf install curl sudo curl -LO https://dl.k8s.io/release/1.23.9/kubernetes-server-linux-amd64.tar.gz ``` 5. 解压缩下载的Kubernetes存档文件: ``` tar -xvf kubernetes-server-linux-amd64.tar.gz ``` 6. 进入解压缩的目录并复制二进制文件到/usr/local/bin目录: ``` cd kubernetes sudo cp kubelet kubeadm kubectl /usr/local/bin/ ``` 7. 初始化Kubernetes主节点。运行以下命令初始化一个新的Kubernetes主节点: ``` sudo kubeadm init --pod-network-cidr=192.168.0.0/16 ``` 8. 安装网络插件。Kubernetes需要网络插件才能让容器之间通信。例如,您可以安装flannel插件: ``` kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml ``` 9. 完成安装后,您可以通过运行以下命令查看集群状态: ``` kubectl get nodes ``` 如果一切正常,您将看到已成功添加的主节点。 以上是在CentOS 8上安装Kubernetes版本1.23.9的简单步骤指南。请注意,这只是一个简单的指南,根据您的环境和需求,您可能需要采取其他步骤。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值