NCCL源码安装

牛andmore牛

已于 2023-05-16 09:51:14 修改

阅读量3.2k

点赞数 4

分类专栏：开发环境文章标签： paddlepaddle 深度学习 pytorch NCCL conda添加环境变量

于 2022-05-25 10:46:28 首次发布

本文链接：https://blog.csdn.net/u011119817/article/details/124961425

版权

开发环境专栏收录该内容

14 篇文章

订阅专栏

文章目录

1、下载
2、解压
3、填加环境变量
4、Conda环境变量添加

很多情况下，使用深度学习多GPU训练需要使用nccl，这里介绍最简单的待安装机器无法联网的安装方法，且安装包与系统版本无关，只与cuda版本有关，为支持paddlepaddle框架的多gpu使用，需要安装nccl。更多内容参见nccl 官网

1、下载

根据需要选择具体的架构，我们这里先x86,接着选与系统无关的那个：
在这里插入图片描述

下载好的文件是nccl_2.8.4-1+cuda11.2_x86_64.txz 这样一个以txz结尾的文件，曾经试过当cuda升级到11.7使用这个11.2的包依然没有报错，不过觉的还是下载个对应的比较好。

2、解压

cd /usr/local
tar xvf nccl_2.8.4-1+cuda11.2_x86_64.txz

解压后，里边两个文件夹 include 和 lib。实际解压到任意位置都是可以的，但做为安装可以放到/usr/local下。

3、填加环境变量

vim ~/.bashrc

在最后加上：


export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/where_your_path/nccl_2.8.4-1+cuda11.2_x86_64/include/:/where_your_path/nccl_2.8.4-1+cuda11.2_x86_64/lib

即可。
如果要安装给所有人用，可以将nccl_2.8.4-1+cuda11.2_x86_64文件夹拷到/usr/local下。
安装好以后，conda 环境，virtualenv等环境下都是可以用的。要注意的是，conda环境中有自己的cuda和cudnn,选择nccl对应版本时要按照conda环境中的cuda版本来进行处理
对于paddle可以输入：

import paddle
paddle.utils.run_check()

会返回所有可用gpu数量。

4、Conda环境变量添加

我们要以单独给指定的某一个conda环境添加环境变量：

cd /path/anaconda3/envs/yourenv
mkdir -p ./etc/conda/activate.d
mkdir -p ./etc/conda/deactivate.d
touch ./etc/conda/activate.d/env_vars.sh
touch ./etc/conda/deactivate.d/env_vars.sh

接着在activate.d/env_vars.sh中添加：

export LD_LIBRARY_PATH=/where_your_path/nccl_2.8.4-1+cuda11.2_x86_64/include/:/where_your_path/nccl_2.8.4-1+cuda11.2_x86_64/lib:$LD_LIBRARY_PATH

在deactivate.d/env_vars.sh中添加：

unset LD_LIBRARY_PATH

当你每次激活这个环境，你就可以使用，当你退出里，则去除这个作用。