caffe 问题集锦之使用cmake编译多GPU时，更改USE_NCCL=1无效

最新推荐文章于 2024-08-01 19:19:55 发布
最新推荐文章于 2024-08-01 19:19:55 发布
阅读量7k 收藏 9
点赞数 3
分类专栏： caffe 文章标签： caffe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011394059/article/details/73732707
版权
在使用CMake编译Caffe并尝试启用多GPU支持时，遇到一个问题，即设置USE_NCCL=1后无效，导致训练时无法使用NCCL。检查发现NCCL已正确安装，但CMakeLists.txt中的配置仍显示USE_NCCL为OFF。解决方法是直接在CMakeLists.txt中将USE_NCCL手动更改为ON，然后重新运行cmake编译，最终成功启用了多GPU训练。
摘要由CSDN通过智能技术生成

使用cmake编译caffe, 使用多GPU，更改nccl无效，

USE_NCCL = 1

在caffe_root目录中执行命令

$mkdir build
$cd build
$cmake ..

显示配置为：
这里写图片描述
USE_NCCL 为OFF,再使用cmake编译之后使用多gpu进行训练时会报错，提示未使用nccl。

解决方法先看nccl是否安装成功，
安装步骤为

最低0.47元/天 解锁文章
oneTaken
关注
专栏目录
Caffe 在 win10 环境下编译GPU、CPU版本的配置详细操作说明
05-23
总之，配置Caffe在Windows 10环境下，尤其是涉及GPU支持时，可能需要面对多个环节的设置和调试。确保每个步骤都正确执行，是成功构建和运行Caffe的关键。遇到问题时，应耐心排查，参考社区资源，及时解决问题。
Caffe 之NCCL安装
Jancy的博客
04-03 4947
在多个 GPU 上运行 Caffe 需要使用 NVIDIA NCCL。可使用以下命令安装 NCCL： git clone https://github.com/NVIDIA/nccl.git cd nccl sudo make install -j4 NCCL 库和文件头将安装在 /usr/local/lib 和 /usr/local/include 中。如果遇到报错如下： Compili
出现RuntimeError: NCCL Error 3: internal error - please report this issue to the NCCL developers问题
最新发布
weixin_46429533的博客
08-01 430
一般是torch和cuda版本不对。卸载原先的torch gpu版本。#2 重新安装torch。#1 查看cuda版本。再去官网找正确版本安装。
CMake Error at cmake/nccl.cmake:18 (file): file failed to open for reading (No such file or direct
qq_36955294的博客
07-14 2797
CMake Error at cmake/nccl.cmake:18 (file): file failed to open for reading (No such file or directory): /home/ps/lvying/Paddle/NCCL_INCLUDE_DIR-NOTFOUND/nccl.h Call Stack (most recent call first): CMakeLists.txt:268 (include) -- Current NCCL hea...
服务器（多GPU）caffe安装和编译
赤战约风的博客
01-16 8972
一. 前提 多GPU交互在神经网络是常见的，所以在安装caffe之前需要安装NCCL，来保证多GPU之间的相互交流。 多GPU，这里指的是2个及2个以上英伟达显卡，而不是笔记本中的集显和独显。 二.安装NCCL 1.下载编译 shell终端cd nccl make CUDA_HOME=/user/local/cuda-7.5 test #注意自己的cuda路径2.测试和配置环境变量
caffe.zip（ubuntu系统编译好的gpu版本的caffe包）
12-04
这个"caffe.zip"压缩包为需要在Ubuntu 18.04上使用GPU版本Caffe的用户提供了一站式的解决方案，包含编译好的库文件和可能缺失的依赖，大大简化了部署流程。同时，作者提供的编译教程为用户在遇到问题时提供了参考，...
caffe-windows-ms.zip_Python vc_caffe matlab编译_caffe-windows-ms_p
07-15
编译caffe框架，可拓展python接口和matlab接口以及vc接口
支持多任务-caffe-GPU编译好的（含改写之后的c++源码）
09-28
c++源码经过改写，主要改写了convert_imageset.cpp，使其支持多任务训练。文件包含了编译好的caffe（不含pycaffe和matcaffe），GPU版。（CUDA7.5-CUDNN5.1）
MOPCNN_code.zip_MOPCNN_caffe_caffe matlab_卷积神经网络_多尺度卷积
07-14
matlab 和C++下联合编程构建的多尺度无序的卷积神经网络，是对caffe的一种扩充
NCCL是Nvidia Collective multi-GPU Communication Library的简称
08-02
NCCL是Nvidia Collective multi-GPU Communication Library的简称，它是一个实现多GPU的collective communication通信（all-gather, reduce, broadcast）库，Nvidia做了很多优化，以在PCIe、Nvlink、InfiniBand上实现较高的通信速度。
opencv-cmake 编译opencv4的缺失文件
12-30
当编译OpenCV 4时，可能会遇到一些依赖文件的缺失问题，这些文件包括ffmpeg、vgg_generated、boostdesc和ippicv等。下面将详细解释这些组件以及它们在OpenCV中的作用。 1. **ffmpeg**： FFmpeg是一个开源项目，...
opencv4.1.1已使用cmake编译.7z
09-06
在本压缩包“opencv4.1.1已使用cmake编译.7z”中，提供了预编译的OpenCV 4.1.1版本，该版本已经使用CMake构建系统进行了配置和编译，适用于快速集成到你的项目中。 **1. OpenCV库介绍** OpenCV（开源计算机视觉库）...
caffe2编译－cmake指令及之后生成makefile文件中需添加的变量
06-28
### Caffe2编译配置与Makefile生成详解 #### 一、Caffe2简介与编译背景 Caffe2是一个由Facebook开源的深度学习框架，它继承了Caffe的高效性能，并扩展了其功能，使其能够更好地支持移动端、服务器端等多平台部署。...
修改过的caffe编译时用到的build_win.cmd文件
11-06
修改过的caffe编译时用到的build_win.cmd文件，里面已经进行set改过gflags的地址和其他boost组建的地址
(转载并补充)Win10+VS2015 caffe环境搭建（极其详细）
Kindle君的博客
09-01 3235
本文参考Win10+VS2015 caffe环境搭建（极其详细）我装的是VS2013，所以有些地方略有不同，这里说明一下：1. 修改后的caffe\scripts下的build_win.cmd@echo off @setlocal EnableDelayedExpansion:: Default values if DEFINED APPVEYOR ( echo Setting Appvey
Caffe中master与windows分支差异对比及通过命令提示符编译Caffe源码操作步骤
网络资源是无限的
04-07 4321
Caffe中master与windows分支差异对比及通过命令提示符编译Caffe源码操作步骤
caffe多GPU上手
深藏功与名
05-08 4520
最新的caffe，增加了一个nccl的模块，用于支持多个GPU的运行。只需要在终端的  -gpu 参数加入0,1,2,3 配置环境：Ubuntu14.04 Mate + CUDA8.0 +NVIDIA1080Ti (X2) + matlab2015a +caffe（最新版） 需要安装NCCL $ git clone https://github.com/NVIDIA/nccl.git $
git submodule update --remote third_party/protobuf USE_CUDA=0 USE_MKLDNN=0 USE_QNNPACK=0 USE_NNPACK=0 USE_DISTRIBUTED=0 BUILD_CAFFE2=0 BUILD_CAFFE2_OPS=0 python3 setup.py build python3 setup.py develop && python3 -c "import torch"
06-10
1. 使用git submodule update --remote命令，更新third_party/protobuf目录下的protobuf子模块，并禁用一些选项（USE_CUDA、USE_MKLDNN、USE_QNNPACK、USE_NNPACK、USE_DISTRIBUTED、BUILD_CAFFE2和BUILD_CAFFE2_OPS...
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值