【个人记录】openEuler安装K3S并配置为GPU节点

原创 已于 2025-02-22 08:27:08 修改 · 1.8k 阅读 · 17 ·
CC 4.0 BY-SA版权
喵喵喵
文章标签：

#linux #cuda #gpu #k3s #k8s

于 2025-02-20 20:38:55 首次发布

前言

国内网络环境特殊，在线安装比较麻烦，K3S采用离线安装方式进行部署。
安装整体思路是：

  1. 安装GPU驱动
  2. 安装CUDA工具
  3. 安装nvidia容器运行时
  4. 安装K3S
  5. 设置K3S使用GPU

基础环境

采用All In One方式（其实只有一张GPU卡）部署。

参数 内容
系统 openEuler 22.03 (LTS-SP3)
CPU 8
内存 64G
系统盘 500G
GPU V100-32G

GPU采用直通的方式，vGPU应该也差不多。

安装GPU驱动

下载驱动

先去官网(https://www.nvidia.cn/geforce/drivers/)下载驱动

选择对应型号操作系统为Linux 64-bit搜索后下载即可
搜索驱动

像我V100的下载链接就是https://cn.download.nvidia.com/tesla/560.35.03/NVIDIA-Linux-x86_64-560.35.03.run

wget https://cn.download.nvidia.com/tesla/560.35.03/NVIDIA-Linux-x86_64-560.35.03.run -O NVIDIA-Linux.run

安装构建工具和依赖

yum install gcc make kernel-devel-$(uname -r) vulkan-loader -y

运行安装

根据指示安装完即可。

bash NVIDIA-Linux.run --kernel-source-path=/usr/src/kernels/$(uname -r)

测试是否安装成功

nvidia-smi

运行后应该会输出显卡和驱动信息，输出则表示安装成功

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 560.35.03              Driver Version: 560.35.03      CUDA Version: 12.6     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  Tesla V100-PCIE-32GB           Off |   00000000:00:06.0 Off |                    0 |
| N/A   41C    P0             39W /  250W |     310MiB /  32768MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

安装CUDA工具

下载CUDA工具

前往官网（https://developer.nvidia.com/cuda-toolkit-archive），选择要下载的版本进行下载。
选择CUDA版本

这里我选择的是12.4.0版本（PyTorch支持的版本），访问后操作系统选择Linux、架构选择x86_64、发行选择RHEL、版本选择9、安装方式选择runfile(local)。
CUDA下载

根据安装指引运行

wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.run
sudo sh cuda_12.4.0_550.54.14_linux.run

设置系统环境变量

sudo echo "export PATH=\$PATH:/usr/local/cuda-12.4/bin" >> /etc/profile
sudo echo /usr/local/cuda-12.4/lib64 >> /etc/ld.so.conf
sudo ldconfig
source /etc/profile

校验CUDA

nvcc -V

运行后会返回CUDA版本信息

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2024 NVIDIA Corporation
Built on Tue_Feb_27_16:19:38_PST_2024
Cuda compilation tools, release 12.4, V12.4.99
Build cuda_12.4.r12.4/compiler.33961263_0

安装cuDNN

前往官网（https://developer.nvidia.com/cudnn-downloads?target_os=Linux&target_arch=x86_64&Distribution=RHEL&target_version=9&target_type=rpm_local），按照指引下载
下载CUDNN

wget https://developer.download.nvidia.com/compute/cudnn/9.7.1/local_installers/cudnn-local-repo-rhel9-9.7.1-1.0-1.x86_64.rpm
sudo rpm -i cudnn-local-repo-rhel9-9.7.1-1.0-1.x86_64.rpm
sudo dnf clean all
sudo dnf -y install cudnn
sudo dnf -y install cudnn-cuda-12

安装nvidia容器运行时

为了使容器内可以使用显卡，需要安装nvidia容器运行时，这一步网上经常是搜索的是ubuntu的教材，这里按官网步骤安装。

安装YUM源

curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo | \
  sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

启动YUM源

sudo dnf-config-manager --enable nvidia-container-toolkit-experimental

安装容器工具包

sudo dnf install -y nvidia-container-toolkit

安装完即可，在后续步骤会使用。

安装K3S

因为网络原因在线安装K3S不太稳定，这里使用离线安装。

下载镜像

mkdir -p /var/lib/rancher/k3s/agent/images/ /usr/local/bin/
wget https://github.com/k3s-io/k3s/releases/download/v1.31.5%2Bk3s1/k3s -O /usr/local/bin/k3s
chmod a+x /usr/local/bin/k3s
wget https://github.com/k3s-io/k3s/releases/download/v1.31.5%2Bk3s1/k3s-airgap-images-amd64.tar -O /var/lib/rancher/k3s/agent/images/k3s-airgap-images-amd64.tar

这里下载很慢可以使用类似镜像加速站点（https://gh-proxy.com）进行加速下载。

下载安装脚本

wget https://get.k3s.io -O install.sh

如果下载不了可以使用下面命令直接保存安装脚本

cat > install.sh <<EOF
#!/bin/sh
set -e
set -o noglob

# Usage:
#   curl ... | ENV_VAR=... sh -
#       or
#   ENV_VAR=... ./install.sh
#
# Example:
#   Installing a server without traefik:
#     curl ... | INSTALL_K3S_EXEC="--disable=traefik" sh -
#   Installing an agent to point at a server:
#     curl ... | K3S_TOKEN=xxx K3S_URL=https://server-url:6443 sh -
#
# Environment variables:
#   - K3S_*
#     Environment variables which begin with K3S_ will be preserved for the
#     systemd service to use. Setting K3S_URL without explicitly setting
#     a systemd exec command will default the command to "agent", and we
#     enforce that K3S_TOKEN is also set.
#
#   - INSTALL_K3S_SKIP_DOWNLOAD
#     If set to true will not download k3s hash or binary.
#
#   - INSTALL_K3S_FORCE_RESTART
#     If set to true will always restart the K3s service
#
#   - INSTALL_K3S_SYMLINK
#     If set to 'skip' will not create symlinks, 'force' will overwrite,
#     default will symlink if command does not exist in path.
#
#   - INSTALL_K3S_SKIP_ENABLE
#     If set to true will not enable or start k3s service.
#
#   - INSTALL_K3S_SKIP_START
#     If set to true will not start k3s service.
#
#   - INSTALL_K3S_VERSION
#     Version of k3s to download from github. Will attempt to download from the
#     stable channel if not specified.
#
#   - INSTALL_K3S_COMMIT
#     Commit of k3s to download from temporary cloud storage.
#     * (for developer & QA use)
#
#   - INSTALL_K3S_PR
#     PR build of k3s to download from Github Artifacts.
#     * (for developer & QA use)
#
#   - INSTALL_K3S_BIN_DIR
#     Directory to install k3s binary, links, and uninstall script to, or use
#     /usr/local/bin as the default
#
#   - INSTALL_K3S_BIN_DIR_READ_ONLY
#     If set to true will not write files to INSTALL_K3S_BIN_DIR, forces
#     setting INSTALL_K3S_SKIP_DOWNLOAD=true
#
#   - INSTALL_K3S_SYSTEMD_DIR
#     Directory to install systemd service and environment files to, or use
#     /etc/systemd/system as the default
#
#   - INSTALL_K3S_EXEC or script arguments
#     Command with flags to use for launching k3s in the systemd service, if
#     the command is not specified will default to "agent" if K3S_URL is set
#     or "server" if not. The final systemd command resolves to a combination
#     of EXEC and script args ($@).
#
#     The following commands result in the same behavior:
#       curl ... | INSTALL_K3S_EXEC="--disable=traefik" sh -s -
#       curl ... | INSTALL_K3S_EXEC="server --disable=traefik" sh -s -
#       curl ... | INSTALL_K3S_EXEC="server" sh -s - --disable=traefik
#       curl ... | sh -s - server --disable=traefik
#       curl ... | sh -s - --disable=traefik
#
#   - INSTALL_K3S_NAME
#     Name of systemd service to create, will default from the k3s exec command
#     if not specified. If specified the name will be prefixed with 'k3s-'.
#
#   - INSTALL_K3S_TYPE
#     Type of systemd service to create, will default from the k3s exec command
#     if not specified.
#
#   - INSTALL_K3S_SELINUX_WARN
#     If set to true will continue if k3s-selinux policy is not found.
#
#   - INSTALL_K3S_SKIP_SELINUX_RPM
#     If set to true will skip automatic installation of the k3s RPM.
#
#   - INSTALL_K3S_CHANNEL_URL
#     Channel URL for fetching k3s download URL.
#     Defaults to 'https://update.k3s.io/v1-release/channels'.
#
#   - INSTALL_K3S_CHANNEL
#     Channel to use for fetching k3s download URL.
#     Defaults to 'stable'.

GITHUB_URL=${GITHUB_URL:-https://github.com/k3s-io/k3s/releases}
GITHUB_PR_URL=""
STORAGE_URL=https://k3s-ci-builds.s3.amazonaws.com
DOWNLOADER=

# --- helper functions for logs ---
info()
{
    echo '[INFO] ' "$@"
}
warn()
{
    echo '[WARN] ' "$@" >&2
}
fatal()
{
    echo '[ERROR] ' "$@" >&2
    exit 1
}

# --- fatal if no systemd or openrc ---
verify_system() {
    if [ -x /sbin/openrc-run ]; then
        HAS_OPENRC=true
        return
    fi
    if [ -x /bin/systemctl ] || type systemctl > /dev/null 2>&1; then
        HAS_SYSTEMD=true
        return
    fi
    fatal 'Can not find systemd or openrc to use as a process supervisor for k3s'
}

# --- add quotes to command arguments ---
quote() {
    for arg in "$@"; do
        printf '%s\n' "$arg" | sed "s/'/'\\\\''/g;1s/^/'/;\$s/\$/'/"
    done
}

# --- add indentation and trailing slash to quoted args ---
quote_indent() {
    printf ' \\\n'
    for arg in "$@"; do
        printf '\t%s \\\n' "$(quote "$arg")"
    done
}

# --- escape most punctuation characters, except quotes, forward slash, and space ---
escape() {
    printf '%s' "$@" | sed -e 's/\([][!#$%&()*;<=>?\_`{
     
     |}]\)/\\\1/g;'
}

# --- escape double quotes ---
escape_dq() {
    printf '%s' "$@" | sed -e 's/"/\\"/g'
}

# --- ensures $K3S_URL is empty or begins with https://, exiting fatally otherwise ---
verify_k3s_url() {
    case "${K3S_URL}" in
        "")
            ;;
        https://*)
            ;;
        *)
            fatal "Only https:// URLs are supported for K3S_URL (have ${K3S_URL})"
            ;;
    esac
}

# --- define needed environment variables ---
setup_env() {
    # --- use command args if passed or create default ---
    case "$1" in
        # --- if we only have flags discover if command should be server or agent ---
        (-*|"")
            if [ -z "${K3S_URL}" ]; then
                CMD_K3S=server
            else
                if [ -z "${K3S_TOKEN}" ] && [ -z "${K3S_TOKEN_FILE}" ]; then
                    fatal "Defaulted k3s exec command to 'agent' because K3S_URL is defined, but K3S_TOKEN or K3S_TOKEN_FILE is not defined."
                fi
                CMD_K3S=agent
            fi
        ;;
        # --- command is provided ---
        (*)
            CMD_K3S=$1
            shift
        ;;
    esac

    verify_k3s_url

    CMD_K3S_EXEC="${CMD_K3S}$(quote_indent "$@")"

    # --- use systemd name if defined or create default ---
    if [ -n "${INSTALL_K3S_NAME}" ]; then
        SYSTEM_NAME=k3s-${INSTALL_K3S_NAME}
    else
        if [ "${CMD_K3S}" = server ]; then
            SYSTEM_NAME=k3s
        else
            SYSTEM_NAME=k3s-${CMD_K3S}
        fi
    fi

    # --- check for invalid characters in system name ---
    valid_chars=$(printf '%s' "${SYSTEM_NAME}" | sed -e 's/[][!#$%&()*;<=>?\_`{|}/[:space:]]/^/g;' )
    if [ "${SYSTEM_NAME}" != "${valid_chars}"  ]; then
        invalid_chars=$(printf '%s' "${valid_chars}" | sed -e 's/[^^]/ /g')
        fatal "Invalid characters for system name:
            ${SYSTEM_NAME}
            ${invalid_chars}"
    fi

    # --- use sudo if we are not already root ---
    SUDO=sudo
    if [ $(id -u) -eq 0 ]; then
        SUDO=
    fi

    # --- use systemd type if defined or create default ---
    if [ -n "${INSTALL_K3S_TYPE}" ]; then
        SYSTEMD_TYPE=${INSTALL_K3S_TYPE}
    else
        SYSTEMD_TYPE=notify
    fi

    # --- use binary install directory if defined or create default ---
    if [ -n "${INSTALL_K3S_BIN_DIR}" ]; then
        BIN_DIR=${INSTALL_K3S_BIN_DIR}
    else
        # --- use /usr/local/bin if root can write to it, otherwise use /opt/bin if it exists
        BIN_DIR=/usr/local/bin
        if ! $SUDO sh -c "touch ${BIN_DIR}/k3s-ro-test && rm -rf ${BIN_DIR}/k3s-ro-test"; then
            if [ -d /opt/bin ]; then
                BIN_DIR=/opt/bin
            fi
        fi
    fi

    # --- use systemd directory if defined or create default ---
    if [ -n "${INSTALL_K3S_SYSTEMD_DIR}" ]; then
        SYSTEMD_DIR="${INSTALL_K3S_SYSTEMD_DIR}"
    else
        SYSTEMD_DIR=/etc/systemd/system
    fi

    # --- set related files from system name ---
    SERVICE_K3S=${SYSTEM_NAME}.service
    UNINSTALL_K3S_SH=${UNINSTALL_K3S_SH:-${BIN_DIR}/${SYSTEM_NAME}-uninstall.sh}
    KILLALL_K3S_SH=${KILLALL_K3S_SH:-${BIN_DIR}/k3s-killall.sh}

    # --- use service or environment location depending on systemd/openrc ---
    if [ "${HAS_SYSTEMD}" = true ]; then
        FILE_K3S_SERVICE=${SYSTEMD_DIR}/${SERVICE_K3S}
        FILE_K3S_ENV=${SYSTEMD_DIR}/${SERVICE_K3S}.env
    elif [ "${HAS_OPENRC}" = true ]; then
        $SUDO mkdir -p /etc/rancher/k3s
        FILE_K3S_SERVICE=/etc/init.d/${SYSTEM_NAME}
        FILE_K3S_ENV=/etc/rancher/k3s/${SYSTEM_NAME}.env
    fi

    # --- get hash of config & exec for currently installed k3s ---
    PRE_INSTALL_HASHES=$(get_installed_hashes)

    # --- if bin directory is read only skip download ---
    if [ "${INSTALL_K3S_BIN_DIR_READ_ONLY}" = true ]; then
        INSTALL_K3S_SKIP_DOWNLOAD=true
    fi

    # --- setup channel values
    INSTALL_K3S_CHANNEL_URL=${INSTALL_K3S_CHANNEL_URL:-'https
最低0.47元/天 解锁文章
openEuler的aarch64操作系统上安装k3s
码农从0到1
11-06 762
其中：INSTALL_K3S_SKIP_SELINUX_RPM=true INSTALL_K3S_SELINUX_WARN=true 表示忽略SELINUX的策略。也可以使用镜像 swr.cn-east-2.myhuaweicloud.com/kuboard/kuboard:v3 ，可以更快地完成镜像下载。输入cat /etc/rancher/k3s/k3s.yaml，将获取到的内容粘贴到kubeconfig中。修改 /etc/systemd/system/k3s.service文件。
openEuler之上的K3s ARM64集群管理
openEuler_的博客
05-04 1107
同时，Rancher具备非常好的插件机制，可以方便扩展各种云的驱动，在各种云环境下接入openEuler。Rancher管理平面需要部署在Kubernetes之中，作为一种快速开始的部署体验，我们推荐使用K3s作为管理平面的Local集群，并通过Helm安装Rancher。Rancher v2.7.2版本迎来了较多重大更新，其中对K3s ARM64集群的管理进一步增强，支持用户从Rancher配置创建K3s ARM64集群，并通过Rancher实现该集群的生命周期管理。
k3s中使用GPU资源
码农从0到1
08-31 1460
只需要下载能识别GPU的基础镜像,使用该基础镜像启动容器，使用该基础镜像pod中不需要配置 resources: limits: nvidia.com/gpu: 1 中也能正常识别GPU。docker要使用nvidia运行时才能正常使用gpu,但是k8s中kubelet需要调用docker,所以要将docker默认运行时设置为nvidia.#nvidia-ctk命令将会修改/etc/docker/daemon.json文件以便Docker可以使用nvidia容器运行时。三、修改docker默认运行时。
K3s离线安装部署一主多从超级详细教程
一位菜鸡的博客
10-13 3948
一、获取k3s执行文件和k3s镜像tar.gz文件 1、 从https://github.com/k3s-io/k3s/releases页面获取你所运行的 K3s 版本的镜像 tar 文件。 如图所示： 2、将 tar 文件放在images目录下 sudo mkdir -p /var/lib/rancher/k3s/agent/images/ sudo cp ./k3s-airgap-images-amd64.tar /var/lib/rancher/k3s/agent/images/ 3、将 k3s
autok3s单机搭建k3d集群并支持gpu调度
piaobeizu2011的专栏
08-08 1231
本文详细记录了利用autok3s部署单机k3d集群，并且支持gpu资源的调用和切分，从而模拟出真实多节点集群相似的模式，并且稳定在生产环境稳定运行（不考虑资源不足和重启机器导致的异常问题）
在X86-openeuler和riscv-openeuler开发板上部署k3s集群
UPCWYH0624的博客
07-23 878
这是在x86和riscv上部署k3s集群的步骤
828华为云征文｜华为云Flexus云服务器X实例之openEuler系统下搭建k3s轻量级kubernetes环境
jks212454的博客
09-12 1059
828华为云征文｜华为云Flexus云服务器X实例之openEuler系统下搭建k3s轻量级kubernetes环境
欧拉2203 怎么安装GPU的rpm驱动包
03-08
引用[2]是关于K3S配置GPU节点的，可能和驱动安装后的验证有关。 首先，用户可能需要先确定他们的GPU型号，所以需要安装nvidia-detect。然后，添加合适的软件源，比如ELRepo，因为欧拉系统可能基于CentOS，而ELRepo...
时间步长稳定性问题揭秘：显式与隐式格式选择的6大工程权衡
结合爆炸模拟、结构动力学与流体耦合等工程实例，论文对比了两类格式在不同物理过程中的适用边界，并探讨了动态自适应时间步策略与混合算法的设计原则，为多尺度、多物理场问题的数值方法选择提供了系统的决策依据。...
N1 搭建 arm64 架构 k3s 集群
01-07
设置静态ip地址 备份 /etc/network/interfaces 文件，并打开 cp /etc/network/interfaces /etc/network/interfaces.backup sudo nano /etc/network/interfaces 按照下列内容进行编辑 # Wired adapter 0 allow-hotplug eth0 #no-auto-down eth0 iface eth0 inet static address 192.168.0.81 netmask 255.255.255.0 gateway 192.168.0.1 dns-nameser
高性能计算在轨道方程求解中的角色：加速宇宙奥秘的探索
[高性能计算在轨道方程求解中的角色：加速宇宙奥秘的探索](https://opengraph.githubassets.com/8a2db9fcc07af69c43f8fd9426667de7c2fb414b900a81e8b930d443b24dc2a6/rumplespaceking/N-Body-Orbit-simulation) ...
华为UOS欧拉版 K3S+Rancher 安装完全版
wangxi83的博客
04-16 7767
文章目录华为UOS欧拉版 K3S+Rancher 安装完全版1. 准备工作1.1. 修改网卡名称为eth01.2. 切换yum源1.3. 关闭防火墙以及selinux1.4. 修改主机名，并修改hosts1.5. 在UOS（基于华为欧拉）上安装docker1.5.1. 修改Docker loglimit。非常重要！1.5.2. 修改Docker limit。非常重要！1.5.3. 强制使用overlay2存储引擎1.5.4. 修改docker数据目录（可选）1.5.5. 重启docker1.6. 节点优化（
如何在kubernetes环境中共享GPU
weixin_42365688的博客
10-14 347
随着人工智能和大模型的快速发展，云上GPU资源共享变得必要，因为它可以降低硬件成本，提升资源利用效率，并满足模型训练和推理对大规模并行计算的需求。 在kubernetes内置的资源调度功能中，GPU调度只能根据“核数”进行调度，但是深度学习等算法程序执行过程中，资源占用比较高的是显存，这样就形成了很多的资源浪费。 目前的GPU资源共享方案有两种。一种是将一个真正的GPU分解为多个虚拟GPU，即v...
kubernetes集群GPU支持方案
听海归雪的博客
10-13 1280
一.kubernetes对GPU的支持版本 kubernetes提供对分布式节点上的AMD GPU和NVIDIA GPU管理的实验性的支持。在V1.6中已经添加了对NVIDIA GPU的支持，并且经历了多次 向后不兼容的迭代。通过设备插件在v1.9中添加了对AMD GPU的支持。 从1.8版本开始，使用GPU的推荐方法是使用驱动插件。要是在1.10版本之前通过设备插件启用GPU支持，必须在整个系统中将DevicePlugins功能 设置为true:--feature-gates="DevicePlug.
华为飞腾D2000芯片（ARM架构）的欧拉操作系统（openEuler）上，通过 KubeOperator 部署Kubernetes集群
猴的哥儿的博客
03-05 2296
通过以上步骤，您可以在飞腾D2000+欧拉系统上成功部署单Master Kubernetes集群。关键点在于确保。
K3S 容器引擎及其NVIDIA 容器支持
weixin_46878179的博客
06-14 1178
K3S kubernetes docker 容器引擎 NVIDIA 容器 Cuda Tensor
k3s,k9s harbor https
码农崛起
12-27 8372
安装选项介绍 | Rancher文档 1 k3s简介--5 less than K8s k3s[1]是rancher®开源的一个Kubernetes发行版，从名字上就可以看出k3s相对k8s做了很多裁剪和优化，二进制程序不足50MB，占用资源更少，只需要512MB内存即可运行。 而之所以称为k3s是因为相对k8s裁剪了如下5个部分: 过时的功能和非默认功能 Alpha功能 内置的云提供商插件 内置的存储驱动 Docker 相对k8s最主要的优化如下： 使用内嵌轻量级数据库SQLit
【K3s】第1篇 K3s入门级介绍及架构详解
果子哥丶的博客
02-28 4468
K3s 是一个轻量级的 Kubernetes 发行版，它针对边缘计算、物联网等场景进行了高度优化。
openeuler安装k3s
最新发布
03-21
### 如何在 openEuler 上安装 K3s #### 使用官方脚本安装 K3s 可以通过运行官方的一键安装脚本来完成 K3s 的部署。为了加速下载并解决可能存在的网络问题，可以利用国内镜像源来安装 K3s。 以下是具体的命令： ``...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

三千喵喵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值