caffe缺少NCCL库导致不能多GPU训练问题(改makefile版)

最新推荐文章于 2024-06-25 10:43:09 发布
最新推荐文章于 2024-06-25 10:43:09 发布
阅读量3k 收藏 7
点赞数
分类专栏： caffe 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wudi_X/article/details/80012764
版权
在使用Caffe进行多GPU训练并加载预训练模型时，遇到错误提示缺少NCCL库。为解决此问题，需要下载NCCL源码安装，并在Caffe的Makefile.config和Makefile中添加相应编译选项及链接库路径，完成修改后重新编译Caffe即可实现多GPU微调。
摘要由CSDN通过智能技术生成

最近用caffe多GPU联调时遇到问题，如果正常用caffe的多gpu训练而不加初始化模型，末尾加--gpu=0,1，不会有问题；然而当用pretrained模型finetune网络时，如--weights=xxx.caffemodel，则会报如下错误：
Multi-GPU execution not available - rebuild with USE_NCCL
提示nccl没有安装，于是百度了一下，需要下载nccl源码安装，然后就是修改caffe的编译选项。由于我用的make编译的，需要该2个地方：
1.在Makefile.config文件中加

USE_NCCL := 1
INCLUDE_DIRS += /home/xd133/nccl/build/include
LIBRARY_DIRS += /home/xd133/nccl/build/lib

2.在Makefile中加

ife
最低0.47元/天 解锁文章
wudi_X
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Pytorch 分布式dist.init_process_group报错NCCL 找不到GPU
Hello Word!
04-01 7469
完整报错： Traceback (most recent call last): File "topFAR_COX_py2_fc1_pytorch.py", line 181, in <module> model = constructmodel(args) File "topFAR_COX_py2_fc1_pytorch.py", line 36, in constructmodel dist.init_process_group(backend='nccl', ini
多GPU环境下使用caffe遇到的问题
js_sjtu的博客
11-24 1138
两张GTX 1080 Ti， ubuntu sever 16.04需要nccl的支持。但是nccl的test跑不通，曾在github上提交相关issue： https://github.com/NVIDIA/nccl/issues/120 现已解决。
mobilenet-v2训练关键点检测模型：caffe.cpp:245] Multi-GPU execution not available - rebuild with USE_NCCL
zhang_comeon的博客
08-23 479
mobilenet-v2训练关键点检测模型问题 采用mobilenet-v2训练关键点检测模型，数据准备好后： 1.训练level1 sh train.sh 出现问题： F0514 17:41:13.275457 13942 caffe.cpp:245] Multi-GPU execution not available - rebuild with USE_NCCL 解决方法： （1）检查cud...
NVIDIA-NCCL下载资源分享，跳过Authenticator验证
最新发布
懒惰是科技进步的原始动力
06-25 772
现在NVIDIA登录需要Authenticator验证，很多人会卡在这里导致无法下载后续的资源。
mobilenetv2训练时，设置多gpu报错：multi-gpu execution not available - rebuild with USE_NCCL
山中有石为玉
03-04 543
mobilenetv2训练时，设置多gpu报错： 解决方法：https://blog.csdn.net/fengzhongluoleidehua/article/details/80797660 https://github.com/yonghenglh6/DepthwiseConvolution
MobileNet 在caffe训练加速方法：多GPU：解决Multi-GPU execution not available - rebuild with USE_NCCL
山中有石为玉
03-07 1483
1、直接在如下训练指令后加：--gpu all或者 --gpu 0,1报错 ./build/tools/caffe train --solver=examples/myExample/0227_gpu/solver_2acc.prototxt 报错内容：Multi-GPU execution not available - rebuild with USE_NCCL 2、解决...
caffe.zip（ubuntu系统编译好的gpu版本的caffe包）
12-04
标题中的"caffe.zip"指的是一个压缩包文件，该文件包含了已经在Ubuntu 18.04操作系统上编译完成的GPU版本的Caffe库。Caffe是一种广泛应用的深度学习框架，以其高效、灵活性和易用性而闻名。"ubuntu系统编译好的gpu...
支持多任务-caffe-GPU编译好的（含改写之后的c++源码）
09-28
c++源码经过改写，主要改写了convert_imageset.cpp，使其支持多任务训练。文件包含了编译好的caffe（不含pycaffe和matcaffe），GPU版。（CUDA7.5-CUDNN5.1）
Caffe 在 win10 环境下编译GPU、CPU版本的配置详细操作说明
05-23
- **修改配置**：根据需求修改Caffe的`Makefile.config`或CMakeLists.txt文件，选择CPU或GPU模式，设置Python、BLAS库（如OpenBLAS或MKL）等选项。 4. **编译** - **使用CMake**：如果你选择了源码编译，需要使用...
在Windwos下安装 Caffe（GPU版本）
07-29
在Windows环境下搭建Caffe GPU版本是一项技术性强且...总之，安装Caffe GPU版本需要耐心和细致，但一旦完成，你将拥有一个强大的工具来训练和部署深度学习模型。记得保持CUDA和cuDNN的更新，以获取最佳性能和兼容性。
Ubuntu16.04+自带python+GPU下的caffe：Makefile.config
04-10
这是这2018年4月博主自己在ubuntu环境在编译caffe时候使用的Makefile.config，希望能帮助到各位，在这之前还希望看看环境是不是一样，要是一样的还不能用可以告诉我报错原因。
nccl-2.4.8-1-x86_64.pkg.tar.xz
07-28
nccl-2.4.8-1-x86_64.pkg.tar.xz是从linux org下下载下来的。要与tensorflow版本对应，不是下载deb格式。
PaddlePaddle多GPU训练遇到的问题
Mike
04-28 1691
1、遇到的问题 有两块GPU,但是Paddle只能检测到一块GPU,说是缺少NCCL来支持两块GPU之间的通信 倒腾了一天，也没在windows10系统下成功安装NCCL2 python tools/train.py -c configs/rec/rec_icdar15_train.yml 输入命令，启动训练后还是遇到同样的问题 2、解决方法 安装不成功NCCL2,只能用单GPU训练 先在配置文件中指定device:0 注释掉train.py中的78-80行 # compile pro
CUDA11.3下找不到gpu的问题
azhec0me的博客
08-07 3337
最近在服务器上下载了cuda11.3版本，碰到了找不到gpu的问题，在这里记录一下。 主要问题有两点一是cuda和tensorflow的版本不对应的情况，二是电脑上装有多个cuda的情况下，cuda的版本没有切换过来 一、cuda切换 首先输入nvcc -V来检查cuda的版本，发现cuda还处于10.0的版本 （图片） 然后再切换版本，打开编辑环境系统变量 （图片） 点击切换变量 （图片） 然后对PATH进行编辑 （图片） 这里我自己碰到一个小坑，我一直以为是编辑cuda_path，但
NVIDIA之NCCL：NCCL的简介、安装、使用方法之详细攻略
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-02 2万+
​ NVIDIA之NCCL：NCCL的简介、安装、使用方法之详细攻略 目录 NCCL的简介 NCCL的安装 NCCL的使用方法 NCCL的案例应用 NCCL的简介 NCCL（NVIDIA Collective Communications Library）是由 NVIDIA 开发的一种高性能的多 GPU 通信库，用于在多个 NVIDIA GPU 之间实现快速的数据传输和协同计算。它可以在深度学习和高性能计算领域中提供分布式训练和数据并行加速的支持。 NCCL实现了针对NVI
pytorchlighting报错：raise RuntimeError(“Distributed package doesn‘t have NCCL “RuntimeError: Distribu
Frank-Li的博客
06-16 5967
1、该问题的主要原因是windows环境不支持NCCL，所以最好不要使用ddp ##源代码： trainer = Trainer(gpus=[0],distributed_backend="ddp") ##修改后的代码： trainer = Trainer(gpus=[0]) anz
NCCL （NVIDIA Collective Communications Library）
greatcoder的博客
07-25 6344
当n-1次操作完成后，ring-allreduce的第一大步scatter-reduce就已经完成了，此时，第i块gpu的第(i+1)%n块数据已经收集到了所有n块gpu的第(i+1)%n块数据，那么，再进行一次allgather就可以完成算法了。如果卡数比较少的情况下，其实影响不大，但是如果并行的卡很多的时候，就涉及到计算快的卡需要去等待计算慢的卡的情况，造成计算资源的浪费。他也允许点到点的收发通信，包括散播（scatter），聚集（gather），或者all-to-all操作。...
记录一下这两天配置NCCL和horovod的过程（原创）
JNash的博客
02-13 2462
Installation Guide :: NVIDIA Deep Learning NCCL Documentation NVIDIA Collective Communications Library (NCCL) Download Page | NVIDIA Developer 以上两个为nccl官网的安装教程 一、下面根据官网进行安装（并没有成功） 1. sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/comp
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值