Windows版PyCaffe-GPU编译流程

最新推荐文章于 2022-02-12 11:18:49 发布
最新推荐文章于 2022-02-12 11:18:49 发布
阅读量497 收藏 1
点赞数
文章标签： caffe 深度学习 cuda cudnn vs2015
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Turix/article/details/113802401
版权

文章目录

0. 声明

当前版本R1.0（预发布）。

作者联系方式：E-mail: WindForest@yeah.net

首先将本文使用到的各工具版本列出如下：

项值
编译/目标操作系统Windows 10 20H2 x64
本文使用的VS版本Virtual Studio 2015 (VC14)
本文操作步骤支持的CUDA版本CUDA8.0/CUDA9.0
本文配合使用的cuDNN版本cuDNN7.1.3（对应于CUDA8.0）或cuDNN7.6.0（对应于CUDA9.0）
Python版本Python 2.7.16
Caffe源https://github.com/happynear/caffe-windows/
本机CPU信息Intel® Core™ i7-5500U CPU @ 2.40GHz
本机GPU信息NVIDIA GeForce 940M（算力5.0）

[建议]

所有的程序或环境最好使用其默认目录，以避免不必要地在环境配置上浪费时间。如果你的电脑C盘没有足够的空间，不如换一块大容量的SSD。

1. VS和CUDA的版本选择

Caffe框架以源码提供，因此首先需要安装 Virtual Studio 2015(VC14) ，按照网上一些资料所述，VS2013(VC12)也可以编译Caffe1.x，但是考虑到目标项目提供的示例程序是基于VC14创建的，这里选择VS2015版本。

若需编译Caffe的GPU版本，则CUDA和cuDNN也需要安装。高版本CUDA/cuDNN中有一些API变动，因此考虑到后文中的Caffe编译适配，经查阅相关资料及实际测试，在本机上，CUDA8.0/cuDNN7.1.3或CUDA9.0/cuDNN7.6.0等版本组合是可行的。

[说明]

由于默认的NCCL是按照CUDA9.0版本进行编译的，因此当选择CUDA9.0时无需后文“编译NCCL动态库”的操作。

[说明]

笔者的机器已经比较老了，在较新的机器上，GPU支持的CUDA版本也不尽相同，在一些资料中，CUDA10.0以上编译本文使用的Caffe源可能会出现一些问题。因此如果不是受限于需求，建议使用支持高版本CUDA的神经网络计算框架。

VS的安装应该在CUDA之前，以便于CUDA安装过程中增加对VS的支持。而后将cuDNN解压，将其中的文件复制到CUDA安装目录的同名文件夹下，并将CUDA安装目录中的 .\lib\x64 目录添加进系统环境变量。

2. Python环境配置

下载Python2.7，安装时顺便添加python的PATH路径。Python2.7已经被弃用，选择它的原因依旧是出于兼容性考虑，且后文使用的Caffe源中三方库是基于Python2.7编译的。

下载pip安装脚本，在管理员权限下的命令提示符（或Windows PowerShell）中切换到该文件所在路径下执行：-方法来源-

python .\get-pip.py
pip install numpy
pip install protobuf
pip install scikit-image
pip install scipy
pip install pandas

[说明]

若安装pip后在命令提示符下找不到pip命令，请确认pip的安装目录，并将其添加到系统的PATH环境变量。

[说明]

如需指定pip及三方库安装位置，如安装到Python自身目录下，可参考Python库的安装位置。

修改Python安装路径下 .\Lib\site.py 文件中 USER_BASE 和 USER_SITE 指向的位置，如：

USER_SITE = "C:\Program Files\Python27\Lib\site-packages"
USER_BASE = "C:\Program Files\Python27\Scripts"

而后在命令行使用：

python -m site

重新设置安装位置即可。先前安装的库可以被删除。

3. Caffe的适配和编译

下载Caffe-Windows-MS工程，首先按照自述文件中提供的链接下载工程所需第三方库并解压到 .\windows\threadparty 目录下，该目录不需加入到环境变量中。而后将 .\windows\CommonSettings.props.example 文件复制到其所在目录并重命名为 CommonSettings.props ，对其内容做以下修改：

  1. 修改 CpuOnlyBuild 项为 false ；

  2. 修改 UseCuDNN 项为 true ；

  3. 修改 UseNCCL 项为 true ；

  4. 修改 UseMKL 项为false ；

  5. 修改 CudaVersion 项为 8.0 或 9.0 ；

    [说明]该项取决于本机安装的CUDA版本，编译时VS会自动寻找对应版本的CUDA动态库。

  6. 修改 PythonSupport 项为 true ；

  7. 修改 MatlabSupport 项为 false ；

  8. 修改 MXNetSupport 项为 false ；

    [说明]

    由于作者的需求所限，本文编译过程中没有开启对Matlab和MXNet的支持，因此也无法针对这两项给出有效的编译建议，在此深表抱歉。

  9. 修改 CudaArchitecture 项为显卡对应算力，具体可查询：https://developer.nvidia.com/zh-cn/cuda-gpus#collapse4，如：

    <CudaArchitecture>compute_50,sm_50;</CudaArchitecture>

  10. 修改 CuDnnPath 项为CUDA安装目录，注意版本号与安装的CUDA版本对应。如：

    <CuDnnPath>C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0</CuDnnPath>

  11. 修改 PythonDir 项为Python2.7安装目录（需根据实际位置修改，如使用Anaconda环境），如：

    <PythonDir>C:\Program Files\Python27</PythonDir>

使用Virtual Studio 2015打开工程，进行以下动作：

  1. 为Nuget包管理器换源

    打开【工具】->【NuGet包管理器】->【程序包管理器设置】，在左侧列表中选择【NuGet包管理器】->【程序包源】，添加新的项目指向https://api.nuget.org/v3/index.json，并取消其它源的选择。

  2. 更改编译配置

    右键右侧【解决方案资源管理器】中的libcaffe项，选择【属性】，在配置界面左侧【配置属性】->【C/C++】中“将警告视为错误”项设置为“否(/WX-)”。同样的方法修改pycaffe项和test_all项的对应配置。

  3. 更换解决方案的编译配置为 Release + X64 。在主窗口上方直接选择即可。

  4. 执行【生成】->【生成解决方案】以编译全部项目，或在解决方案资源管理器中生成指定的项目即可。

[排错记录]

若使用原工程提供的boost1.65编译出现C2694错误，则表示VS2015对该C++特性不支持，需要降低boost版本。按照网上某贴所述，可使用boost1.61.0版本，但当前NuGet源中对项目所需的boost_python-vc140的支持已经不再包含1.61.0版本，因此选用boost1.62.0版本。

按照 .\windows\thirdparty\Boost\lib64-msvc-14.0 中文件名指示，在【工具】->【NuGet包管理器】->【管理解决方案的NuGet程序包】中的“浏览”选项卡，分别搜索并为全部项目安装1.62.0版本的以下第三方库：

  1. boost
  2. boost_chrono-vc140
  3. boost_date_time-vc140
  4. boost_filesystem-vc140
  5. boost_python-vc140
  6. boost_system-vc140
  7. boost_thread-vc140

或在【工具】->【NuGet包管理器】->【程序包管理器控制台】中执行以下命令安装上述软件包：

Install-Package boost_chrono-vc140 -Version 1.62
Install-Package boost_date_time-vc140 -Version 1.62
Install-Package boost_filesystem-vc140 -Version 1.62
Install-Package boost_python-vc140 -Version 1.62
Install-Package boost_system-vc140 -Version 1.62
Install-Package boost_thread-vc140 -Version 1.62

boost1.62.0会被自动安装。而后打开工程目录中 .\windows\CommonSettings.props 文件，修改其中对BoostIncludeFolder和BoostLibraryFolder的设置为：

    <BoostIncludeFolder>$(SolutionDir)packages\boost.1.62.0.0\lib\native\include</BoostIncludeFolder>
    <BoostLibraryFolder>$(SolutionDir)packages\boost_thread-vc140.1.62.0.0\lib\native\address-model-64\lib;$(SolutionDir)packages\boost_filesystem-vc140.1.62.0.0\lib\native\address-model-64\lib;$(SolutionDir)packages\boost_chrono-vc140.1.62.0.0\lib\native\address-model-64\lib;$(SolutionDir)packages\boost_system-vc140.1.62.0.0\lib\native\address-model-64\lib;$(SolutionDir)packages\boost_date_time-vc140.1.62.0.0\lib\native\address-model-64\lib;$(SolutionDir)packages\boost_python-vc140.1.62.0.0\lib\native\address-model-64\lib</BoostLibraryFolder>

保存并重新生成解决方案即可。

[排错记录]

在使用CUDA9.0编译时，可能需根据编译输出修改nvcc.hpp文件，屏蔽以下宏定义：

// A bug in version 7.0 of CUDA prevents use of variadic templates in some occasions
// https://svn.boost.org/trac/boost/ticket/11897
// This is fixed in 7.5. As the following version macro was introduced in 7.5 an existance
// check is enough to detect versions < 7.5
//#if !defined(__CUDACC_VER__) || (__CUDACC_VER__ < 70500)
//#   define BOOST_NO_CXX11_VARIADIC_TEMPLATES
//#endif

4. 编译NCCL动态库

使用CUDA8.0编译后运行caffe.exe，提示找不到cudart64_90.dll，根据此链接提供的解决方法，重新编译NCCL库使之适配当前使用的CUDA版本。

下载NCCL工程，修改 .\windows\nccl.vcxproj 文件中两处 CUDA 9.0.targets 改为使用的CUDA版本，如本次的 CUDA 8.0.targets 。

该文件在CUDA安装时自动安装到VS目录下，默认位置为：

C:\Program Files (x86)\MSBuild\Microsoft.Cpp\v4.0\V140\BuildCustomizations

而后打开 .\windows\nccl.sln 并编译解决方案。

将 .\windows\x64\Release 目录下的 cudart64_80.dll 、 nccl.dll 、 nccl.pdb 替换掉Caffe工程 .\windows\thirdparty\NCCL\bin 和 .\windows\thirdparty\bins 目录下的同名文件；将 nccl.lib 替换掉Caffe工程 .\windows\thirdparty\NCCL\lib 目录下的同名文件。

将 .\Build\x64\Release\caffe.exe 拷贝到 .\windows\thirdparty\bins 目录下，使用命令提示符打开此目录运行caffe.exe，若出现以下提示：

G:\caffe-windows\windows\thirdparty\bins>caffe.exe
caffe.exe: command line brew
usage: caffe <command> <args>

commands:
  train           train or finetune a model
  test            score a model
  device_query    show GPU diagnostic information
  time            benchmark model execution time

  No modules matched: use -help

说明动态库依赖正常。

5. Caffe的测试

使用caffe自带的mnist测试Caffe框架和GPU的工作情况，caffe+mnist的基本操作网上有的是，这里只是重复一遍。

在http://yann.lecun.com/exdb/mnist/网站下载mnist数据到caffe源码目录下的 mnist 文件夹（仅做示范），并解压这些文件。

[说明]train-images-idx3-ubyte.gz、train-labels-idx1-ubyte.gz、t10k-images-idx3-ubyte.gz、t10k-labels-idx1-ubyte.gz四个文件全部都要下载。

将以下代码保存为 mnist_create.bat 文件：

windows\thirdparty\bins\convert_mnist_data.exe mnist\train-images.idx3-ubyte mnist\train-labels.idx1-ubyte examples\mnist\mnist_train_lmdb   
echo.   
windows\thirdparty\bins\convert_mnist_data.exe mnist\t10k-images.idx3-ubyte  mnist\t10k-labels.idx1-ubyte examples\mnist\mnist_test_lmdb  
pause

将以下代码保存为 mnist_train.bat 文件：

windows\thirdparty\bins\caffe.exe  train --solver=examples\mnist\lenet_solver_adam.prototxt
pause

将以下代码保存为 mnist_test.bat 文件：

windows\thirdparty\bins\caffe.exe test --model=examples\mnist\lenet_train_test.prototxt --weights=examples\mnist\lenet_iter_10000.caffemodel -iterations 100
pause

将 .\Build\x64\Release\caffe.exe 拷贝到 .\windows\thirdparty\bins 目录下。而后依次执行上述三个文件，即可在GPU上训练并验证网络训练过程。

mnist示例训练过程

mnist示例训练过程

mnist验证过程

mnist示例验证过程

6. Pycaffe安装

在先前的编译中，已经开启了对Python的支持和接口，将Caffe工程目录的 .\Build\x64\Release\pycaffe\caffe 目录及其中文件拷贝到Python安装目录下的 .\Lib\site-packages 目录下；将工程目录的 .\windows\thirdparty\bins 目录下的文件也拷贝到目标目录 .\Lib\site-packages\caffe 下即可。

在命令提示符或Windows PowerShell下进入python，执行import caffe操作，若成功则Caffe基本环境安装完成。

在Windows下使用pycaffe进行mnist训练以进一步验证安装，具体操作和代码可参考：caffe的python接口学习（4）：mnist实例—手写数字识别

此时的Caffe仅仅是最基本的框架，若目标网络中有特殊的网络层，还需要手动添加到Caffe再执行编译，不过，那已经超出本文的范畴了。

————2021-2-13@燕卫博————

燕卫博
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LightGBM-windows下- GPU版本（已经编译）
09-27
2. **安装GPU版LightGBM**： - 在你已经配置好CUDA和cuDNN的环境中，打开命令行界面，进入解压后的`python-package`目录。这个目录通常包含LightGBM的Python接口文件。 - 在命令行中输入以下命令来安装GPU版本的...
linux下caffe-ssd在cuda10+python3.6下编译，训练VOC数据集和测试
pursuit_zhangyu的博客
03-30 1124
简介 个人环境 python3.6，这个环境是在 1、caffe-ssd环境编译 现在 git clone https://github.com/weiliu89/caffe.git cd caffe git checkout ssd 开始修改Makefile.configure 然后修改Makefile 现在开编译安装 make all -j1...
caffe下面编译cudnn
woyaopojie1990的专栏
01-05 2481
下面就是本人在Ubuntu14.04下面的编译cudnnde 过程。
【win10+cuda7.5+cudnn6.0安装caffe③】编译及测试caffe
菜鸟博客
02-12 378
一、编译caffe 二、测试安装好的caffe
未找到导入的项目“C:\Program Files (x86)\MSBuild\Microsoft.Cpp\v4.0\V140\BuildCustomizations\CUDA 8.0.props”。
GL3_24的博客
06-20 5378
问题： 原来用vs2013打开caffe.sln的时候一直可以使用。但是在安装了vs2015之后，今天用原来的vs2013打开caffe.sln的时候，vs2013直接闪退了。然后我就用vs2015打开解决方案，然后在启动的时候报错。 未找到导入的项目“C:\Program Files (x86)\MSBuild\Microsoft.Cpp\v4.0\V140\BuildCustomization...
3.caffe在windows下编译
罗伊的博客
05-12 2014
本来想使用VS2019编译的，但是找了很多种方法，总是出现莫名问题，无奈换成了VS2015，如有看到的朋友有较好的方法，可以评论下，谢谢 本次使用VS2015+WIN10编译caffeGPU版本 1. caffe源码下载 官网链接：https://github.com/BVLC/caffe/tree/windows 2. VS2015下载并安装 链接：https://pan.baidu.com/s/1uACPyI7vBa8SiwpUG0w4QA 提取码：08st 3. Cmake3.4以上版本下载并安装.
libemgucv-windows-universal-gpu-2.4.9.1847
04-23
《libemgucv-windows-universal-gpu-2.4.9.1847：Emgu CV在GPU上的跨平台实现》 Emgu CV，全称“Emgu Computer Vision”，是一个开源、跨平台的计算机视觉库，它为.NET Framework提供了OpenCV的功能。标题中的...
windows安装TensorFlow-gpu版本.md
07-05
windows下安装anaconda和tensorflow-gpu的安装方法，除安装anaconda外，其他的基本属于命令行式安装，简单方便，需要的自己取用，免费下载。
onnxruntime-win-x64-gpu-1.14.0
最新发布
06-09
标题中的“onnxruntime-win-x64-gpu-1.14.0”指的是ONNX Runtime的Windows 64位GPU版本，版本号为1.14.0。ONNX Runtime是一个高性能的推理引擎，主要用于运行经过训练的机器学习模型，它支持多种框架如TensorFlow、...
libtensorflow-gpu-windows-x86_64-2.3.0.zip
07-07
本文将深入探讨TensorFlow GPU版本在Windows x86_64架构下的安装与应用，特别是针对“libtensorflow-gpu-windows-x86_64-2.3.0.zip”这个特定的压缩包，我们将解析其内容并讲解如何利用C++接口进行高效计算。...
caffe源代码在windows下编译以及测试
长不大的老小孩
07-12 350
1.下载caffe源码。 2.如果使用GPU的话，请下载并安装相应版本的CUDA（建议8.0以上），并下载cudnn，并将下载的三个文件夹的文件放入NVIDIA GPU Computing Toolkit\CUDA\v8.0路径下对应的文件夹中。 3.将caffe压缩包解压，并修改Caffe\caffe-master\windows路径下的CommonSettings.props文件（即Com...
深度学习Windows单机多GPU并行
流光的博客
12-06 3416
pytorch1.7 win10 两张GTX1070 一、torch.nn.parallel.DistributedDataParallel 1、接收并行调用传入的参数 parser = argparse.ArgumentParser() parser.add_argument("--local_rank", type=int) args = parser.parse_args() 2、设置当前进程GPU torch.cuda.set_device(args.local...
Win10+cuda10.0+cudnn7.6.5+vs2015+python2.7配置caffe(GPU)
dhcgffhd的博客
12-02 1574
写在前面的话：耗时两天，参考N篇博客，踩坑N次，别人有的错误我遇到过，没有的错误我也有，就在马上要放弃的时候，终于…成功了！ 环境准备 系统环境：windows10 cuda10.0：cuda下载地址https://developer.nvidia.com/cuda-downloads cudnn7.65：cudnn下载地址https://developer.nvidia.com/rdp/cudnn-download（需要注册才能下载） minconda：python2.7（安装anacon
在windows安装配置tensorflow-gpu版本步骤
sy9041817010的博客
01-10 2133
准备工作： 首先你的windows机器上安装的显卡算力在3.5以上才可以安装，我此次以GTX1060为例，显卡算力为6.1，可以安装： NVIDIA® GPU card with CUDA® Compute Capability 3.5 or higher. See the list of CUDA-enabled GPU cards. 具体要求见： https://www.tensorflow....
Win10双系统安装Ubuntu18.04以及安装Pytorch
钱彬的博客
09-10 1934
1. 准备U盘 格式化U盘，文件系统采用FAT32（默认）。 2. 下载Ubuntu18.04的iso镜像 下载网址：https://releases.ubuntu.com/18.04.5/?_ga=2.233463966.1247027824.1599629722-50706887.1599629722 3. 分配空间 使用diskgenius工具分配空间，预留足够的空间给新系统，同时保证系统里面没有未分配的空间。 4.刻录镜像到U盘 使用rufus工具刻录镜像到U盘，下载.....
Windows QtCreator环境下CUDA编程代码自动补全
liuwei_0773的博客
12-19 595
问题：Windows QtCreator环境下出现在编辑器里，cuda函数无法自动补全的情况，使用不便。 原因：追踪发现QtCreator没有定义__CUDACC__宏，使得<cuda_runtime.h>中函数被禁用。 解决方案：将<cuda_runtime.h>中的 #if defined(__CUDACC__) 修改为 #if defined(__CUDACC...
CUDA与C++
shenlan282的笔记
11-30 2185
1.使用thrust: http://stackoverflow.com/questions/13185221/cuda-host-object-to-device http://blog.csdn.net/shenlan282/article/details/8237576 http://blog.csdn.net/shenlan282/article/details/8237586
Deepin 15.11 配置深度学习环境
qq_17278169的博客
12-05 1377
Deepin 15.11 配置深度学习环境 一、安装deepin15.11 系统 1、在DeepIn官网下载iso文件 http://cdimage.deepin.com/releases/15.11/deepin-15.11-amd64.iso 2、下载制作upan启动工具 Deepin官方给的深度U盘启动工具，我这里在win7上启动不了，放弃了。还是使用rufus来制作。 3、安装系统 在BI...
windows安装tensorflow-gpu
03-16
1. 首先，确保你的计算机上已经安装了NVIDIA显卡驱动程序，并且支持CUDA。 2. 接下来，下载并安装CUDA Toolkit。你可以从NVIDIA官网上下载最新版本的CUDA Toolkit。 3. 下载并安装cuDNN。cuDNN是一个加速深度学习的库，它可以与CUDA一起使用。你可以从NVIDIA官网上下载cuDNN。 4. 安装Anaconda。Anaconda是一个Python发行版，它包含了许多常用的Python库和工具。你可以从Anaconda官网上下载最新版本的Anaconda。 5. 打开Anaconda Prompt，创建一个新的虚拟环境。你可以使用以下命令创建一个名为“tensorflow-gpu”的虚拟环境： conda create -n tensorflow-gpu python=3.6 6. 激活虚拟环境。你可以使用以下命令激活名为“tensorflow-gpu”的虚拟环境： conda activate tensorflow-gpu 7. 安装TensorFlow-GPU。你可以使用以下命令安装TensorFlow-GPU： pip install tensorflow-gpu 8. 安装其他必要的库。你可以使用以下命令安装其他必要的库： pip install numpy scipy matplotlib pandas scikit-learn 9. 安装Jupyter Notebook。你可以使用以下命令安装Jupyter Notebook： pip install jupyter 10. 启动Jupyter Notebook。你可以使用以下命令启动Jupyter Notebook： jupyter notebook 11. 在Jupyter Notebook中测试TensorFlow-GPU。你可以使用以下代码测试TensorFlow-GPU是否安装成功： import tensorflow as tf tf.test.gpu_device_name()
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值