caffe缺少NCCL库导致不能多GPU训练问题(改makefile版)

最新推荐文章于 2024-05-11 16:12:51 发布
最新推荐文章于 2024-05-11 16:12:51 发布
阅读量2.9k 收藏 7
点赞数
分类专栏： caffe 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wudi_X/article/details/80012764
版权

最近用caffe多GPU联调时遇到问题，如果正常用caffe的多gpu训练而不加初始化模型，末尾加--gpu=0,1，不会有问题；然而当用pretrained模型finetune网络时，如--weights=xxx.caffemodel，则会报如下错误：
Multi-GPU execution not available - rebuild with USE_NCCL
提示nccl没有安装，于是百度了一下，需要下载nccl源码安装，然后就是修改caffe的编译选项。由于我用的make编译的，需要该2个地方：
1.在Makefile.config文件中加

USE_NCCL := 1
INCLUDE_DIRS += /home/xd133/nccl/build/include
LIBRARY_DIRS += /home/xd133/nccl/build/lib

2.在Makefile中加

ife
最低0.47元/天 解锁文章
wudi_X
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Pytorch 分布式dist.init_process_group报错NCCL 找不到GPU
Hello Word!
04-01 7364
完整报错： Traceback (most recent call last): File "topFAR_COX_py2_fc1_pytorch.py", line 181, in <module> model = constructmodel(args) File "topFAR_COX_py2_fc1_pytorch.py", line 36, in constructmodel dist.init_process_group(backend='nccl', ini
支持多任务-caffe-GPU编译好的（含改写之后的c++源码）
09-28
c++源码经过改写，主要改写了convert_imageset.cpp，使其支持多任务训练。文件包含了编译好的caffe（不含pycaffe和matcaffe），GPU版。（CUDA7.5-CUDNN5.1）
PaddlePaddle多GPU训练遇到的问题
Mike
04-28 1642
1、遇到的问题 有两块GPU,但是Paddle只能检测到一块GPU,说是缺少NCCL来支持两块GPU之间的通信 倒腾了一天，也没在windows10系统下成功安装NCCL2 python tools/train.py -c configs/rec/rec_icdar15_train.yml 输入命令，启动训练后还是遇到同样的问题 2、解决方法 安装不成功NCCL2,只能用单GPU训练 先在配置文件中指定device:0 注释掉train.py中的78-80行 # compile pro
NVIDIA之NCCL：NCCL的简介、安装、使用方法之详细攻略
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-02 2万+
​ NVIDIA之NCCL：NCCL的简介、安装、使用方法之详细攻略 目录 NCCL的简介 NCCL的安装 NCCL的使用方法 NCCL的案例应用 NCCL的简介 NCCL（NVIDIA Collective Communications Library）是由 NVIDIA 开发的一种高性能的多 GPU 通信库，用于在多个 NVIDIA GPU 之间实现快速的数据传输和协同计算。它可以在深度学习和高性能计算领域中提供分布式训练和数据并行加速的支持。 NCCL实现了针对NVI
nccl版本与pytorch不匹配
最新发布
jiangxinyi520的博客
05-11 289
遇到报错：RuntimeError: NCCL error in: /pytorch/torch/lib/c10d/../c10d/NCCLUtils.hpp:94, invalid argument, NCCL version 2.7.8。经查看，torch版本是10.2，nccl版本为2.4.2，而当前版本下所需的nccl为2.7.8。经搜索，nccl2.4.2匹配的torch版本为1.6.0，所以下载1.6.0版本的pytorch。经搜索，时nccl版本与pytorch版本不匹配导致。
实验室GPU编号在pytorch和nvidia-smi中不一致引起的NCCL的分布式训练bug
JackHu12345的博客
06-06 6030
（5）思考NCCL错误相关的可能因素，主要是指定GPU编号然后设置不同线程使用的device的时候，会产生这样的编号-硬件设备对应上面的错误，因此得考虑实验室机器和超算机器上面在这里的不同之处。（7）查阅了相关原因，添加了环境变量，让pytorch的顺序和nvidia-smi读取的顺序一致，问题居然就立即解决了。（6）想起来实验室机器在nvidia-smi的时候，gpu顺序和pytorch进行指定的时候，顺序不一致。（4）将超算的环境配置导出，在实验室机器上跑，还是完全相同的问题，无法复现。
CUDA11.3下找不到gpu的问题
azhec0me的博客
08-07 3273
最近在服务器上下载了cuda11.3版本，碰到了找不到gpu的问题，在这里记录一下。 主要问题有两点一是cuda和tensorflow的版本不对应的情况，二是电脑上装有多个cuda的情况下，cuda的版本没有切换过来 一、cuda切换 首先输入nvcc -V来检查cuda的版本，发现cuda还处于10.0的版本 （图片） 然后再切换版本，打开编辑环境系统变量 （图片） 点击切换变量 （图片） 然后对PATH进行编辑 （图片） 这里我自己碰到一个小坑，我一直以为是编辑cuda_path，但
caffe.zip（ubuntu系统编译好的gpu版本的caffe包）
12-04
在ubuntu 18.04上编译好的caffe(GPU版本)包，其中含有各种原版缺失文件（包括需要下载的还有各种SO），方便大家在自己编译过程中方便比对，对应的编译方法在我的博客中
Ubuntu16.04+自带python+GPU下的caffe：Makefile.config
04-10
这是这2018年4月博主自己在ubuntu环境在编译caffe时候使用的Makefile.config，希望能帮助到各位，在这之前还希望看看环境是不是一样，要是一样的还不能用可以告诉我报错原因。
Caffe 在 win10 环境下编译GPU、CPU版本的配置详细操作说明
05-23
Caffe 在 win10 环境下编译GPU、CPU版本的配置详细操作说明，长期使用CAFFE总结的安装方法及相关问题积累。
Makefile 修改后直接可用版本
04-22
caffe安装时报错很可能是Makefile配置不正确，github下载的caffe源码需要做修改后才能编译通过，此文件为修改后的直接可用文件
pytorchlighting报错：raise RuntimeError(“Distributed package doesn‘t have NCCL “RuntimeError: Distribu
Frank-Li的博客
06-16 5906
1、该问题的主要原因是windows环境不支持NCCL，所以最好不要使用ddp ##源代码： trainer = Trainer(gpus=[0],distributed_backend="ddp") ##修改后的代码： trainer = Trainer(gpus=[0]) anz
RuntimeError: ProcessGroupNCCL is only supported with GPUs, no GPUs found
xu823508091的博客
01-06 1万+
bug解决
MindSpore单卡GPU训练竟然报NCCL的错
weixin_45666880的博客
11-04 711
在训练MAE模型，GitHub上有有人实现好的代码https://github.com/yangyucheng000/mae，他是在Asecnd上多卡训练的，但是我只有单卡GPU，因此我把其中的代码都改成单卡GPU训练的模式了，在进行finetune的时候竟然报NCCL的错，但是在代码中我。根据报错信息，一定是脚本里面某个地方用到了通信，具体需要您再仔细检查一下您的运行脚本，如果确实找不到的话，您可以将对应修改后的脚本上传到gitee仓库并将仓库权限提交公开审核设置为公开后留言。请问这是怎么回事呢？
NCCL （NVIDIA Collective Communications Library）
greatcoder的博客
07-25 6070
当n-1次操作完成后，ring-allreduce的第一大步scatter-reduce就已经完成了，此时，第i块gpu的第(i+1)%n块数据已经收集到了所有n块gpu的第(i+1)%n块数据，那么，再进行一次allgather就可以完成算法了。如果卡数比较少的情况下，其实影响不大，但是如果并行的卡很多的时候，就涉及到计算快的卡需要去等待计算慢的卡的情况，造成计算资源的浪费。他也允许点到点的收发通信，包括散播（scatter），聚集（gather），或者all-to-all操作。...
NVIDIA NCCL 源码学习（五）- 路径计算
KIDGIN7439的专栏
11-15 4561
为了方便之后的搜索channel，接下来NCCL会计算GPU和NIC节点到其他任意节点之间的最优路径
Caffe 之NCCL安装
Jancy的博客
04-03 4929
在多个 GPU 上运行 Caffe 需要使用 NVIDIA NCCL。可使用以下命令安装 NCCL： git clone https://github.com/NVIDIA/nccl.git cd nccl sudo make install -j4 NCCL 库和文件头将安装在 /usr/local/lib 和 /usr/local/include 中。如果遇到报错如下： Compili
NCCL无root权限编译安装
longshaonihaoa的博客
12-08 1562
闲的蛋疼学学paddlepaddle，多gpu通信需要安装NCCL 整体来说，这篇文章是ok的，我也不想重复造轮子。 Linux下NCCL源码编译安装 - chenzhen0530 - 博客园NCCL（NVIDA Collective Communications Library）目的是为了实现Multi-GPU或Multi-node之间的通信； 有两种安装方式，一是具有root权限的安装https://www.cnblogs.com/chenzhen0530/p/13885258.html但是我在编译
Multi-GPU execution not available - rebuild with USE_NCCL
哈哈哈的博客
07-14 497
caffe 多GPU训练报错： Multi-GPU execution not available - rebuild with USE_NCCL 解决方法： 1、若NCCL没有安装： 安装NCCL，并配置； 2、若NCLL安装好，还不行， 将CMakeLists.txt中 caffe_option(USE_NCCL "Build Caffe with NCCL library s...
apt caffe gpu版本安装目录
07-16
### 回答1： 在安装 Apt Caffe GPU 版本时，其安装目录会根据不同的操作系统和安装方式有所差异。 在 Linux 系统上，通常会将 Apt Caffe GPU 版本安装在默认的 /usr/local 目录下。具体安装目录为 /usr/local/opt/caffe-gpu。 在 macOS 系统上，Apt Caffe GPU 版本的安装目录也常为 /usr/local 目录下。具体安装目录为 /usr/local/opt/caffe-gpu。 需要注意的是，以上的目录仅为参考，实际的安装目录可能会因为个人设置、操作系统版本等因素而有所不同。可以通过查看安装过程中的输出信息或者参考相应的文档来确定确切的安装目录。 另外，在安装完 Apt Caffe GPU 版本后，我们也可以通过配置相关环境变量来使用相应的库和工具。比如，可以设置 LD_LIBRARY_PATH 环境变量指向 Apt Caffe GPU 的安装目录，以便系统能够正确查找和加载相关的动态库文件。 总之，Apt Caffe GPU 版本的安装目录可能会根据不同的系统和安装方式有所变化，但一般来说会位于 /usr/local 目录下。可以通过查看安装过程中的输出信息或者相关文档来确定确切的安装目录。 ### 回答2： apt caffe的GPU版本默认安装目录是在/usr/local/下。apt-get命令在安装软件时会将其默认安装到该目录下，因此apt caffe的GPU版本也不例外。 在安装完成之后，相关的文件和目录会被安装到/usr/local/caffe/目录下。其中包括caffe的源代码、编译后的可执行文件、配置文件、模型文件等。而GPU相关的文件和目录则会在/usr/local/cuda/下。 在这些目录中，我们可以找到caffe编译后的可执行文件caffe，以及其他与caffe相关的工具。此外，也可以在/usr/local/cuda/目录下找到与GPU相关的库文件和头文件。 值得一提的是，以上路径仅仅是默认路径，用户在安装时也可以选择其他路径进行安装。在进行安装之前，可以通过apt-get命令的参数来指定安装目录，以达到自定义安装路径的目的。但需要注意的是，如果选择了非默认目录，在使用时需要注意相关文件和目录的路径。 总结起来，apt caffe GPU版本的默认安装目录是/usr/local/caffe/，与之相关的GPU文件和目录则位于/usr/local/cuda/下。用户也可以选择其他自定义路径进行安装，只需在安装时进行相应的设置即可。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值