pytorch如何使用自定义NCCL

本文详细介绍了如何通过命令和源码安装 PyTorch,并演示了在源码编译时如何使用自定义的 NCCL 动态库和静态库。以下是完整的步骤和说明

假定已经安装了GPU驱动和cuda。

安装anaconda

Anaconda 是一个 Python 虚拟环境管理工具,可以方便地管理多个 Python 环境。

下载anaconda
官网下载 Anaconda3-2024.10-1-Linux-x86_64.sh,并执行安装anaconda

更改anaconda国内源
配置文件~/.condarc

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --set show_channel_urls yes

更改pip国内源
配置文件~/.pip/pip.conf

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple/
[install]
trusted-host=https://pypi.tuna.tsinghua.edu.cn

更新

conda update conda -y
conda update anaconda -y
conda update python -y
conda update --all -y

安装好anoconda后,系统界面如下
默认有一个base虚拟环境,可在此环境执行,也可创建新的虚拟环境

(base) ~# conda env list
# conda environments:
#
base                  *  /root/anaconda3

使用命令安装pytorch

创建虚拟环境,名字为pytorch

conda creat
### 下载包含 NCCL 支持的 PyTorch 版本 对于 Jetson TX2 设备,默认情况下 Python 版本为 3.6,而官方提供的预编译 whl 文件仅适用于此版本[^1]。然而,如果需要特定版本如 Python 3.9 的 PyTorch 并带有 NCCL 支持,则需采取额外措施。 #### 使用 Miniconda 创建环境并安装指定版本 PyTorch 为了确保兼容性和灵活性,建议先安装 Miniconda 来管理不同的 Python 环境。完成 Miniconda 安装后,可以创建一个新的 conda 环境来运行所需的 PythonPyTorch 版本组合: ```bash # 更新 Conda 到最新版 conda update -n pytorch_env python=3.9 # 激活新创建的环境 conda activate pytorch_env ``` 接着,在这个环境中通过 pip 或者 conda-forge 渠道尝试获取所需版本的 PyTorch 及其依赖项。由于 NVIDIA 不直接提供除 Python 3.6 外其他版本的支持包,可能需要从源码构建或寻找社区贡献者的二进制发布版本。 #### 构建带 NCCL 支持的自定义 PyTorch 轮子文件 (Wheel) 当无法找到合适的预编译轮子时,可以从 GitHub 上克隆 PyTorch 仓库,并按照官方文档中的说明进行本地编译,确保在配置阶段启用 NCCL 功能。这通常涉及到设置一些环境变量以及调整 CMake 参数以适应目标平台特性。 具体操作如下所示: ```bash git clone --recursive https://github.com/pytorch/pytorch.git cd pytorch git checkout v1.12.0 # 获取对应标签下的代码库状态 pip install -r requirements.txt export USE_NCCL=1 # 启用 NCCL 支持 python setup.py bdist_wheel ``` 上述命令会生成适合当前系统的 wheel 文件,之后可以通过 `pip` 命令轻松地将其安装到任何具有相同架构和 ABI 兼容性的环境中去。 需要注意的是 CUDA 工具链版本应当与所使用PyTorch 发布版本相匹配,以免引起潜在的问题[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

分享放大价值

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值