在Ubuntu24.04上安装多主多从的高可用Kubernetes节点

前言

因为镜像拉取失败,所以好多小伙伴说calico网络插件安装失败。之前写过CentOS7上安装多主节点的Kubernets集群,而CentOS7又停止维护了。所以借着在Ubuntu上安装多主的Kubernetes集群的机会,使用国内镜像安装calico网络插件。

视频教程地址:https://www.bilibili.com/video/BV1cus5ehE6y

环境准备

拓扑图

本次安装的为3主3从堆叠etcd集群的k8s集群,使用keepalived和haproxy作为负载均衡器。拓扑图为(图片来自官网):
在这里插入图片描述

安装版本

本次操作系统的版本为 Ubuntu Server 24.04 ,下载地址为:https://mirrors.aliyun.com/ubuntu-releases/noble/ubuntu-24.04-live-server-amd64.iso

安装的Kubernetes版本为:1.30 也是目前第二新的版本:
在这里插入图片描述

安装的容器运行时为containerd,版本号为 v1.7.20,下载地址为:https://github.com/containerd/containerd/releases/download/v1.7.20/cri-containerd-cni-1.7.20-linux-amd64.tar.gz

内网环境

我内网的网段为 172.18.0.0/16,所以我分配的IP为每台电脑分配的IP地址为:

IP地址主机名称配置作用
172.18.88.80k8s-control-plane012c4gk8s的第一个主节点
172.18.88.81k8s-control-plane022c4gk8s的第二个主节点
172.18.88.82k8s-control-plane032c4gk8s的第三个主节点
172.18.88.83k8s-apiserver-lb012c2g安装keepalived和haproxy,做主节点apiserver的负载均衡01
172.18.88.84k8s-apiserver-lb022c2g安装keepalived和haproxy,做主节点apiserver的负载均衡02
172.18.88.85k8s-worker012c4gk8s的第一个工作节点
172.18.88.86k8s-worker022c4gk8s的第二个工作节点
172.18.88.87k8s-worker032c4gk8s的第三个工作节点

同时也需要一个虚拟IP地址来负责负载均衡主节点的apiserver,这个IP地址为:172.18.88.88

安装准备

安装ssh软件包

| 此步骤所有服务器都需要做

因为Ubuntu Server默认不支持远程连接,所以需要安装ssh软件包,并启动ssh(同时设置开机自启动),这样我们才能远程连接Ubuntu服务器。执行下面命令安装ssh:

sudo apt install -y ssh

同时执行下面命令启动ssh,并设置ssh开机自启动:

sudo systemctl enable --now ssh

如图:
在这里插入图片描述

接下来就可以连接所有服务器了:
在这里插入图片描述

关闭防火墙

| 这个步骤所有服务器都要做

因为是内网安装,所以可以直接关闭防火墙。ubuntu下执行这行命令关闭并且永久关闭:

sudo systemctl disable --now ufw

关闭Swap分区

| 这个步骤所有安装Kubernetes的节点都要执行,负载均衡节点选择性执行

临时关闭

执行下面命令可临时关闭Swap分区:

sudo swapoff -a

永久关闭

需要修改 /etc/fstab 文件注释掉带 /swap.img 的这一行:
在这里插入图片描述

时间同步

| 这个步骤所有的服务器都要做

设置上海时区

因为ubuntu默认时间并不是中国国内时区,所以需要执行这一行命令设置为中国上海时区:

sudo timedatectl set-timezone Asia/Shanghai

时间同步

首先需要安装ntpdate,执行下面命令安装:

sudo apt install -y ntpdate

执行下面命令进行时间同步:

sudo ntpdate ntp.aliyun.com

修改hosts配置

需要将所有服务器的服务器名和域名绑定一下,所以需要修改 /etc/hosts 文件,修改描述为:
在这里插入图片描述

添加内容为:

172.18.88.80 k8s-control-plane01
172.18.88.81 k8s-control-plane02
172.18.88.82 k8s-control-plane03
172.18.88.83 k8s-apiserver-lb01
172.18.88.84 k8s-apiserver-lb02
172.18.88.85 k8s-worker01
172.18.88.86 k8s-worker02
172.18.88.87 k8s-worker03

启用 IPv4 数据包转发

| 这个步骤所有k8s节点都要做

手动启用 IPv4 数据包转发:

# 设置所需的 sysctl 参数,参数在重新启动后保持不变
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1
EOF

# 应用 sysctl 参数而不重新启动
sudo sysctl --system

使用以下命令验证 net.ipv4.ip_forward 是否设置为 1:

sysctl net.ipv4.ip_forward

执行如图:
在这里插入图片描述

安装软件

安装容器运行时

下载Containerd

这次选用的容器运行时是 containerd,版本号为 1.7.20。可直接执行下面这行命令下载此安装包:

curl -LO https://github.com/containerd/containerd/releases/download/v1.7.20/cri-containerd-cni-1.7.20-linux-amd64.tar.gz

下载后如图:
在这里插入图片描述

解压压缩包

直接将这个压缩包解压到根目录就可以了,直接执行这行命令:

sudo tar -zxvf cri-containerd-cni-1.7.20-linux-amd64.tar.gz -C /

解压后可以执行这行命令查看版本号:

sudo containerd --version

可以看到安装的 1.7.20 这个版本的containerd:
在这里插入图片描述

修改配置文件

因为安装后默认是不自带配置文件的,所以需要创建目录并生成配置文件。执行这行命令创建目录:

sudo mkdir /etc/containerd

然后执行这行命令生成配置文件:

containerd config default | sudo tee /etc/containerd/config.toml

因为默认的pause镜像是在谷歌上拉取的,国内拉取不下来,所以需要修改 /etc/containerd/config.toml 配置文件,将pause镜像改为 registry.aliyuncs.com/google_containers/pause:3.9,如图所示:
在这里插入图片描述

然后需要开启cgroup,用于限制分配给进程的资源。将SystemCgroup设置为true,如图所示:
在这里插入图片描述

注意要保存哦。

启动containerd

执行这行命令启动containerd,并设置为开机自启动:

sudo systemctl enable --now containerd

然后可以查看启动结果:
在这里插入图片描述

安装Kubernetes

安装keepalived和haproxy

| 此步骤仅用在负载均衡服务器上做即可

执行下面命令安装:

sudo apt install -y keepalived haproxy

修改keepalived配置文件

配置文件地址为/etc/keepalived/keepalived.conf,keepalived配置文件主节点和从节点内容不同,配置文件如下:

! /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
    router_id LVS_DEVEL
}
vrrp_script check_apiserver {
  script "/etc/keepalived/check_apiserver.sh"
  interval 3
  weight -2
  fall 10
  rise 2
}

vrrp_instance VI_1 {
    ! 主节点为MASTER,从节点为BACKUP
    state MASTER/BACKUP
    ! 网卡接口名字
    interface ens160
    virtual_router_id 51
    ! 主节点为101,从节点为100
    priority 101/100
    authentication {
        auth_type PASS
        auth_pass XiaoHH
    }
    virtual_ipaddress {
        ! 虚拟IP地址,注意修改为你自己的地址
        172.18.88.88
    }
    track_script {
        check_apiserver
    }
}

内容:

  • state: 状态,主节点为MASTER,从节点为BACKUP
  • interface:物理接口名称,获取可执行下面命令:
ip a

获取内容如下:
在这里插入图片描述

  • priority:优先级,主节点为101,从节点为100
  • virtual_ipaddress:虚拟IP地址,我的为 172.18.88.88 ,注意修改为你自己规划的IP地址

所以主节点配置文件内容为:

! /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
    router_id LVS_DEVEL
}
vrrp_script check_apiserver {
  script "/etc/keepalived/check_apiserver.sh"
  interval 3
  weight -2
  fall 10
  rise 2
}

vrrp_instance VI_1 {
    state MASTER
    interface ens160
    virtual_router_id 51
    priority 101
    authentication {
        auth_type PASS
        auth_pass XiaoHH
    }
    virtual_ipaddress {
        172.18.88.88
    }
    track_script {
        check_apiserver
    }
}

从节点配置文件内容为:


! /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
    router_id LVS_DEVEL
}
vrrp_script check_apiserver {
  script "/etc/keepalived/check_apiserver.sh"
  interval 3
  weight -2
  fall 10
  rise 2
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens160
    virtual_router_id 51
    priority 100
    authentication {
        auth_type PASS
        auth_pass XiaoHH
    }
    virtual_ipaddress {
        172.18.88.88
    }
    track_script {
        check_apiserver
    }
}

keepalived还需要一个健康检查脚本,脚本地址为 /etc/keepalived/check_apiserver.sh ,注意我规划的负载均衡端口为6443,如果不同注意修改为你自己的。内容为(主从节点内容一样):

#!/bin/sh

errorExit() {
    echo "*** $*" 1>&2
    exit 1
}

curl -sfk --max-time 2 https://localhost:6443/healthz -o /dev/null || errorExit "Error GET https://localhost:6443/healthz"

然后需要将这个文件添加执行权限,执行下面命令:

sudo chmod +x /etc/keepalived/check_apiserver.sh

修改haproxy配置文件

该配置文件地址为 /etc/haproxy/haproxy.cfg,需要修改到内容为:

# /etc/haproxy/haproxy.cfg
#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
    log stdout format raw local0
    daemon

#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    option http-server-close
    option forwardfor       except 127.0.0.0/8
    option                  redispatch
    retries                 1
    timeout http-request    10s
    timeout queue           20s
    timeout connect         5s
    timeout client          35s
    timeout server          35s
    timeout http-keep-alive 10s
    timeout check           10s

#---------------------------------------------------------------------
# apiserver frontend which proxys to the control plane nodes
#---------------------------------------------------------------------
frontend apiserver
    # 负载均衡端口
    bind *:6443
    mode tcp
    option tcplog
    default_backend apiserverbackend

#---------------------------------------------------------------------
# round robin balancing for apiserver
#---------------------------------------------------------------------
backend apiserverbackend
    option httpchk

    http-check connect ssl
    http-check send meth GET uri /healthz
    http-check expect status 200

    mode tcp
    balance     roundrobin

    # 主节点列表,注意IP地址修改为你自己的
    server k8s-control-plane01 172.18.88.80:6443 check verify none
    server k8s-control-plane02 172.18.88.81:6443 check verify none
    server k8s-control-plane03 172.18.88.82:6443 check verify none

修改结果为:
在这里插入图片描述

启动keepalived和haproxy

使用下面命令启动keepalived和haproxy,并开机自启动:

sudo systemctl enable --now keepalived
sudo systemctl enable --now haproxy

看到下面结果代表启动成功:
在这里插入图片描述

安装kubelet kubeadm kubectl

以下指令适用于 Kubernetes 1.30。更新 apt 包索引并安装使用 Kubernetes apt 仓库所需要的包:

sudo apt-get update
# apt-transport-https 可能是一个虚拟包(dummy package);如果是的话,你可以跳过安装这个包
sudo apt-get install -y apt-transport-https ca-certificates curl gpg

下载用于 Kubernetes 软件包仓库的公共签名密钥。所有仓库都使用相同的签名密钥,因此你可以忽略URL中的版本:

# 如果 `/etc/apt/keyrings` 目录不存在,则应在 curl 命令之前创建它,请阅读下面的注释。
# sudo mkdir -p -m 755 /etc/apt/keyrings
curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.30/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg

添加 Kubernetes apt 仓库:

# 此操作会覆盖 /etc/apt/sources.list.d/kubernetes.list 中现存的所有配置。
echo 'deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.30/deb/ /' | sudo tee /etc/apt/sources.list.d/kubernetes.list

更新 apt 包索引,安装 kubelet、kubeadm 和 kubectl,并锁定其版本:

sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

安装成功后可以查看版本:
在这里插入图片描述

初始化集群

首先可以只在主节点上拉取镜像,执行下面命令:

sudo kubeadm config images pull --image-repository=registry.aliyuncs.com/google_containers --kubernetes-version=v1.30.4

在这里插入图片描述

然后在任意一台主节点上执行下面命令进行初始化:

sudo kubeadm init \
--apiserver-advertise-address=172.18.88.80 \
--control-plane-endpoint="172.18.88.88:6443" \
--upload-certs \
--image-repository=registry.aliyuncs.com/google_containers \
--kubernetes-version=v1.30.4 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16 \
--cri-socket=unix:///run/containerd/containerd.sock

参数解释:

  • –apiserver-advertise-address:执行这行命令的主节点IP地址,注意修改为你自己的
  • –control-plane-endpoint:负载均衡apiserver的虚拟IP地址和端口,注意修改为自己的
  • –upload-certs:标志用来将在所有控制平面实例之间的共享证书上传到集群
  • –image-repository:因为官方镜像在谷歌,国内拉取不下来,所以使用国内的阿里云镜像
  • –kubernetes-version:Kubernetes的版本号
  • –service-cidr:Service的网段地址
  • –pod-network-cidr:pod的网段地址
  • –cri-socket:标志使用containerd作为容器运行时

执行后初始化成功如图:
在这里插入图片描述

在初始化成功的主节点本地执行:

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

其余主节点执行这条命了加入主节点集群,注意后面加上了 --cri-socket=unix:///run/containerd/containerd.sock 来使用containerd作为容器运行时(注意复制你自己的):

sudo kubeadm join 172.18.88.88:6443 --token xsp48h.uzkxsr9bd58vmey2 \
--discovery-token-ca-cert-hash sha256:2ed5ad71a9adfcc2f4fb7e4c3b3f5bca53fae29bd21d4788820ed34eddf27049 \
--control-plane --certificate-key e0472e957c5a54cea8eb41aefc47abe52c701ed3f65a1cc17c524b34163404a8 \
--cri-socket=unix:///run/containerd/containerd.sock

执行成功后可以看到提示,同样圈起来命令需要本地执行一下:
在这里插入图片描述

然后可以执行如下命令查看已经加入的节点:

kubectl get nodes -o wide

可以看到三个主节点加入成功:
在这里插入图片描述

然后在所有工作节点下执行下面命令,以加入工作节点。注意同样添加了 --cri-socket=unix:///run/containerd/containerd.sock 参数(注意复制你自己的):

sudo kubeadm join 172.18.88.88:6443 --token xsp48h.uzkxsr9bd58vmey2 \
--discovery-token-ca-cert-hash sha256:2ed5ad71a9adfcc2f4fb7e4c3b3f5bca53fae29bd21d4788820ed34eddf27049 \
--cri-socket=unix:///run/containerd/containerd.sock

执行后可以看到加入成功:
在这里插入图片描述

安装calico网络插件

calico网络插件的地址为:https://docs.tigera.io/calico/latest/getting-started/kubernetes/quickstart

我事先将镜像做好了,并且提交到了阿里云。安装分两种情况安装calico:

如果你的节点数量小于等于50,执行下面这行命令安装calico:

kubectl create -f https://raw.githubusercontent.com/xiaohh-me/kubernetes-yaml/main/network/calico/calico-v3.28.1.yaml

如果你的节点数量大于50个,执行这行命令进行安装calico:

kubectl create -f https://raw.githubusercontent.com/xiaohh-me/kubernetes-yaml/main/network/calico/calico-typha-v3.28.1.yaml

根据你的的节点数量进行选择性安装,因为我的节点数量包括主节点只有六个,所以选择上面那行命令。执行结果如图:
在这里插入图片描述

可以执行下面命令查看是否安装成功:

kubectl get pod -o wide -n kube-system

当这些calico的pod都为执行状态的时候则代表calico安装完成:
在这里插入图片描述

测试部署一个应用程序

将安装一个nginx应用程序来测试这个kubernetes是否搭建成功,执行下面命令:

kubectl apply -f https://raw.githubusercontent.com/xiaohh-me/kubernetes-yaml/main/deployment/nginx/nginx-deploy-1.25.5.yaml

执行这行命令可以看结果:
在这里插入图片描述

访问任意一个节点的30080端口可以看到nginx访问成功:
在这里插入图片描述

Kubernetes多主节点的集群就安装完成了,你们也可以参考我之前的文章或视频,了解包括metallb,ingress等组件的安装,使自己的kubernetes集群更加完善。

  • 8
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Ubuntu 24.04是一款基于Linux的操作系统,下面是安装Ubuntu 24.04的步骤: 1. 下载Ubuntu 24.04的镜像文件:你可以从Ubuntu官方网站上下载最新的Ubuntu 24.04镜像文件。确保选择与你的计算机架构(32位或64位)相匹配的版本。 2. 制作启动盘:将下载的镜像文件写入USB闪存驱动器或者光盘。你可以使用一些工具如Rufus、Etcher等来制作启动盘。 3. 启动计算机:将制作好的启动盘插入计算机,并重启计算机。确保在计算机启动时选择从USB或光盘启动。 4. 选择安装方式:在启动时,你将看到一个安装界面。选择“Install Ubuntu”以开始安装过程。 5. 选择语言和键盘布局:在安装过程中,你需要选择你喜欢的语言和键盘布局。 6. 安装类型:在安装类型中,你可以选择“Erase disk and install Ubuntu”以清除整个硬盘并安装Ubuntu,或者选择“Something else”以手动分区。 7. 创建用户账户:在安装过程中,你需要设置一个用户名和密码,这将成为你登录Ubuntu时使用的账户。 8. 安装:完成上述步骤后,点击“Install”按钮开始安装Ubuntu 24.04安装过程可能需要一些时间,请耐心等待。 9. 完成安装安装完成后,你将看到一个提示窗口。点击“Restart Now”以重新启动计算机。 10. 登录Ubuntu:在计算机重新启动后,你将看到登录界面。输入之前设置的用户名和密码以登录Ubuntu。 希望以上步骤对你有所帮助!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值