学亮编程手记

“君子慎独，不欺暗室。卑以自牧，含章可贞。大丈夫立于天地之间，当仰天地浩然正气、行光明磊落之事，克己、慎独、守心、明性”。

原创 Docker 容器中使用宿主机 GPU 资源的两种主流方式

方法优点缺点适用场景--gpus官方推荐，自动化程度高，简单可靠，无需手动挂载设备和库需要额外安装工具包绝大多数使用 NVIDIA GPU 的场景Docker 原生--gpusDocker 原生命令，标准化同样需要 NVIDIA Container Toolkit 作为后端Docker 19.03+ 版本，追求命令标准化手动挂载设备不需要安装额外工具，可控性高极其繁琐，易出错，不易维护调试、特殊需求或非 NVIDIA GPU最佳实践步骤在宿主机上安装正确的 NVIDIA 驱动（使用。

2025-08-22 23:57:37 594

原创 typora设置多行文字水印

【代码】typora设置多行文字水印。

2025-08-22 14:17:06 92

原创 docker 部署 bge-rerank-base重排序模型

【代码】docker 部署 bge-rerank-base重排序模型。

2025-08-21 16:42:36 197

原创 PyTorch Flash Attention库功能与使用详解

flash_attn库是深度学习领域的一项重大工程进步，它通过算法创新解决了注意力机制的硬件瓶颈问题。对于任何从事大模型训练、长上下文推理（如 LLM、多模态模型）的研究员和工程师来说，理解和利用这个库（或 PyTorch 内置的类似优化）都是至关重要的。它已经成为处理长序列任务时的事实标准。

2025-08-21 12:24:28 639

原创 vLLM 与 PyTorch 的版本关系

vLLM 对 PyTorch 版本有特定的兼容性要求，版本不匹配是导致 vllm 问题的最常见原因。

2025-08-21 12:21:18 599

原创 pip install 最新预编译版本的 vllm

【代码】pip install 最新预编译版本的 vllm。

2025-08-21 11:29:09 352

原创解决NVIDIA 5090D显卡pytorch不支持sm_120问题

这条命令是一个从官方源安装支持 CUDA 12.8 的 PyTorch 最新开发版（夜间版）及其视觉、音频库的指令，主要面向需要体验最前沿功能或参与测试的开发者和研究人员，并伴随着较高的不稳定风险。

2025-08-21 10:51:21 499

原创解决xinference启动模型报错：CUDA error: no kernel image is available for execution on the device

报错信息——这个错误表明 CUDA 内核与你的 GPU 架构不兼容。

2025-08-21 10:20:19 356

原创 xinference 使用 vllm 引擎

执行了后不再需要单独执行。当你执行时，它已经包含了作为依赖项。的安装包会自动处理所有必要的依赖关系，包括：你可以通过以下方式验证 vllm 是否已安装：使用 vllm 引擎安装后，你现在可以使用 vllm 引擎来获得更好的性能：注意事项不要重复安装：如果手动安装 vllm，可能会导致版本冲突GPU 支持：如果你需要 CUDA 支持，确保系统有合适的 NVIDIA 驱动和 CUDA 工具包依赖管理：让管理依赖是最安全的方式如果遇到问题如果确实需要重新安装 vllm（不推

2025-08-20 15:40:20 218

原创 pip全量安装xinference

你遇到的错误是因为缺少引擎参数，不是安装版本的问题。先尝试添加。

2025-08-20 15:38:54 134

原创 xinference运行bge-reranker-v2-m3重排序模型的两种启动方式

对于所有 Xinference 模型（包括重排序模型），都必须明确指定。

2025-08-20 15:37:25 271

原创 xinference 运行bge-reranker-v2-m3报错cannot be run on engine解决思路

完整报错信息如下——这个错误表明你在使用 Xorbits Inference (Xinference) 加载模型时遇到了问题。问题在于模型引擎（engine）参数为空，导致无法确定使用哪种引擎来运行该模型。

2025-08-20 14:58:30 277

原创 linux ubuntu 22.04 安装 apt install python3.10-venv

【代码】linux ubuntu 22.04 安装 apt install python3.10-venv。

2025-08-20 11:07:20 100

原创 linux ubuntu 22.04 apt设置http_proxy代理

【代码】linux ubuntu 22.04 apt设置http_proxy代理。

2025-08-20 10:49:21 193

原创在 Ubuntu 22.04 上安装 VMware Tools

在 Ubuntu 22.04 上安装 VMware Tools（或推荐的开放虚拟机工具）非常简单。是 VMware 官方推荐并维护的开源替代品，它已经针对 Ubuntu 等 Linux 发行版进行了优化，无需再从 ISO 镜像手动安装。以下是两种方法，。

2025-08-20 10:38:17 757

原创 VMware Ubuntu 虚拟机使用宿主机 GPU 资源的两种方案

特性GPU 直通 (Passthrough)VMware 虚拟 GPU (3D Acceleration)性能极高，接近原生较低，有较大损耗复杂度非常高，需深入配置非常简单，勾选即可硬件要求苛刻（VT-d/AMD-V, 多显卡）无特殊要求GPU 独占是，宿主机无法使用否，宿主机和多个VM共享适用场景机器学习/AI训练、专业渲染、游戏桌面特效、轻度3D应用、普通游戏所需软件如何选择？如果你的目标是在 Ubuntu 虚拟机里跑 TensorFlow/PyTorch 进行 AI 训练。

2025-08-20 10:28:50 484

原创 Python 中使用 pip 通过命令设置国内镜像源

方法优点缺点适用场景临时使用 (-i灵活，不影响其他项目每次都要输入长命令偶尔使用特定源永久设置 (配置文件)一劳永逸，配置一次即可需要手动创建文件个人电脑，希望默认加速pip config命令最方便快捷，自动处理文件无所有场景，强烈推荐推荐直接使用命令进行设置，这是最简洁有效的方式。

2025-08-20 10:24:07 415

原创 Python 安装 Xinference 及与 Dify 集成

Xinference (Xorbits Inference) 是一个通用的推理平台，旨在为各种模型（可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理）提供统一的接口和服务。模型多样性: 支持多种模型类型，包括语言模型 (LLMs)、 embedding 模型、图像模型、音频模型等。硬件加速: 支持 CPU、GPU (NVIDIA, AMD, Intel) 和 Apple Silicon 等多种硬件加速。易于部署: 提供简单的命令行界面和 Python API，方便本地和云端部署。

2025-08-20 10:11:16 617

原创 nvidia-container-toolkit是nvidia-docker2的进阶版

项目结论已过时，不推荐新项目使用✅ 当前标准，推荐所有新部署使用关键区别vs--gpus all是否兼容支持旧语法（向后兼容）未来方向所有云平台、K8s、CI/CD 流程都基于🔑一句话总结是的现代化替代品，提供更简洁、更强大、更标准的 GPU 容器化支持，应作为首选方案。

2025-08-19 17:24:33 245

原创 Ollama 下载、Linux下离线部署与 modelscope gguf 模型文件的导入

在上部署 Ollama + DeepSeek，可以构建一个安全、可控的本地 AI 知识库系统，适用于企业文档管理、个人学习助手等场景。本教程将详细介绍安装配置步骤，帮助用户快速搭建属于自己的 AI 知识库，实现高效信息检索与智能交互。

2025-08-19 17:22:43 943

原创 pop!_os 22.04 with nvidia版（ubuntu2204）安装cuDNN（避坑版）

【代码】pop!_os 22.04 with nvidia版（ubuntu2204）安装cuDNN（避坑版）

2025-08-19 17:05:33 83

原创 ubuntu 22.04 安装 nvidia-container-toolkit 以支持docker使用GPU资源

【代码】ubuntu 22.04 安装 nvidia-container-toolkit 以支持docker使用GPU资源。

2025-08-19 17:02:11 119

原创【pop!_os官网文档】pop!_os 安装 CUDA 和 cuDNN

andnvidia-smicommand.基本的 CUDA 运行时功能与 NVIDIA 驱动程序一起自动安装（在和包中）。可以使用nvidia-smi命令查看驱动程序中包含的库支持的最大 CUDA 版本。package:使用 CUDA 使用和开发的其他工具可以通过Thepackage is包，可能包含比驱动程序支持的旧版本的 CUDA。

2025-08-19 16:08:11 833

原创 Pop!_OS 22.04（Ubuntu 22.04）安装 Nvidia GPU 驱动

若有类似以下格式的输出，并且第二行Driver Version对应530版本，则可确认驱动安装成功。在重启计算机后，执行以下命令。

2025-08-19 16:03:56 166

原创 Pop!_OS 22.04（Ubuntu 22.04）安装 Docker GPU支持（nvidia-docker2）

创建/etc/apt/sources.list.d/nvidia-container-toolkit.list文件，并添加以下内容。若有类似以下输出则验证成功，此输出与在host中执行。

2025-08-19 16:02:47 308

原创 Pop!_OS 22.04（Ubuntu 22.04）安装 cuDNN

在 $HOME/cudnn_samples_v8/mnistCUDNN文件夹下，执行。0 可能缺少libfreeimage3 libfreeimage-dev库，执行。若输出程序末尾包含Test passed!1 拷贝示例程序到用户文件夹，并编译。执行以下命令添加apt库。

2025-08-19 16:01:13 188

原创 Pop!_OS 22.04（Ubuntu 22.04）安装 CUDA

的target_os=Linux – target_arch=x86_64 – Distribution=Ubuntu – target_version=22.04 – target_type=deb_network 方式，如需详细查看其他方式可能需要完成注册并登录再点击链接。2 在/etc/udev/rules.d/40-vm-hotadd.rules文件的类似以下格式对应的memory一行前加#注释掉该行。_OS 22.04 LTS的相应udev文件拷贝到/etc/udev/rules.d目录下。

2025-08-19 15:59:18 381

原创 Ubuntu 通过 NFS 访问 Windows 10 共享的文件夹

这样，Ubuntu 就可以通过 NFS 访问 Windows 10 共享的文件夹了！访问 Windows 共享的文件夹。

2025-08-19 14:18:33 640

原创 Windows 10 开启 SMB 客户端支持以访问 Ubuntu 共享的 Samba 文件夹

才能正常访问 Ubuntu 共享的 Samba 文件夹。不过，Windows 10 默认已安装 SMB 客户端（支持 SMBv1/SMBv2/SMBv3），但如果之前手动关闭了相关功能，可能需要重新启用。，因此通常只需确保 Windows 10 支持这些协议即可（默认已支持）。：Ubuntu 22.04 的 Samba 默认使用。如果提示输入凭据，填写 Ubuntu 的。，系统会安装所需组件，可能需要重启。

2025-08-19 14:15:46 407

原创在 Ubuntu 22.04 和 Windows 10 之间通过 Samba 共享文件夹

通过上述步骤，你可以轻松实现 Ubuntu 22.04 和 Windows 10 之间的文件夹共享。在 Ubuntu 22.04 和 Windows 10 之间共享文件夹，可以通过。输入密码（可以与系统密码不同，但建议记住）。为 Ubuntu 的 IP，通过。在文件末尾添加以下内容（替换。输入 Ubuntu 的。如需开机自动挂载，编辑。挂载共享文件夹（替换。成功访问共享文件夹。

2025-08-19 14:13:09 300

原创 Linux ubuntu22.04在线安装NVIDIA CUDA 12.8

【代码】Linux ubuntu22.04在线安装NVIDIA CUDA 12.8。

2025-08-19 14:11:10 110

原创 NVIDIA GPU 加速计算技术介绍：CUDA、cuDNN 和 NVIDIA Container Toolkit（nvidia-docker2）

名称角色类比CUDAGPU 通用计算平台操作系统cuDNN深度学习专用加速库高性能应用软件（如 Photoshop）容器访问 GPU 的桥梁USB 驱动 + 接口协议🔑关键点没有 CUDA，GPU 无法通用计算；没有 cuDNN，深度学习效率大幅降低；没有 NVIDIA Container Toolkit，Docker 容器无法使用 GPU。这三者共同构成了现代 AI 工程化开发的标准技术栈。

2025-08-19 10:00:26 1004