c++ 编译添加dll_windows下编译深度学习框架mxnet并使用C++训练模型

3a0be7147c959553949b3b8354aa7974.png
原文:windows下编译mxnet并使用C++训练模型 - CSDN博客

大多数情况下,mxnet都使用python接口进行深度学习程序的编写,方便快捷,但是有的时候,需要把机器学习训练和识别的程序部署到生产版的程序中去,比如游戏或者云服务,此时采用C++等高级语言去编写才能提高性能,本文介绍了如何在windows系统下从源码编译mxnet,安装python版的包,并使用C++原生接口创建示例程序。

目标

  • 编译出libmxnet.lib和libmxnet.dll的gpu版本
  • 从源码安装mxnet python包
  • 构建mxnet C++示例程序

环境

  • windows10
  • vs2015
  • cmake3.7.2
  • Miniconda2(python2.7.14)
  • CUDA8.0
  • mxnet1.2
  • opencv3.4.1
  • OpenBLAS-v0.2.19-Win64-int32
  • cudnn-8.0-windows10-x64-v7.1(如果编译cpu版本的mxnet,则此项不需要)

步骤

下载源码

最好用git下载,递归地下载所有依赖的子repo,源码的根目录为mxnet

git 

依赖库

在此之前确保cmake和python已经正常安装,并且添加到环境变量,然后再下载第三方依赖库

  • 下载安装cuda,确保机器是英伟达显卡,且支持cuda,地址:https://developer.nvidia.com/cuda-toolkit
  • 下载安装opencv预编译版,地址:https://sourceforge.net/projects/opencvlibrary/files/opencv-win/3.4.1/opencv-3.4.1-vc14_vc15.exe/download
  • 下载openblas预编译版,地址:https://sourceforge.net/projects/openblas/files/v0.2.19/
  • 下载cudnn预编译版,注意与cuda版本对应,地址:https://developer.nvidia.com/compute/machine-learning/cudnn/secure/v7.0.5/prod/8.0_20171129/cudnn-8.0-windows10-x64-v7

cmake配置

打开cmake-gui,配置源码目录和生成目录,编译器选择vs2015 win64

c16deb315404a21e7c8966bae3aeef2f.png

配置第三方依赖库

3ba182cf5bfb2cdd8bb88d2e8f3d5d8c.png

1645ecec12b1e398da6e1d7825c20bc6.png

bc2bf70a39cda6241aa78bfff2a0c178.png

configure和generate

f2df68941b76534ee0d00e8e12a0537b.png

注意:在这一步中不要勾选cpppackage选项,不然会编译不过,因为这选项是为了生成op.h这个头文件的,但是由于官网文档的bug,目前无法通过配置cmake编译自动生成,后面会讲手动生成

编译vs工程

打开mxnet.sln,配置成release x64模式,编译整个solution

a09a411d3b5301244689b69d335132e2.png

编译完成后会在对应文件夹生成mxnet的lib和dll

f9f6386256fc4d384b3b1dd7b589533b.png

此时整个过程成功了一半

安装mxnet的python包

有了libmxnet.dll就可以同源码安装python版的mxnet包了

不过,前提是需要集齐所有依赖到的其他dll,如图所示,将这些dll全部拷贝到mxnet/python/mxnet目录下

8c0eb041d346b03c631febcc5105275f.png

tips: 关于dll的来源

  • opencv,openblas,cudnn相关dll都是从这几个库的目录里拷过来的
  • libgcc_s_seh-1.dll和libwinpthread-1.dll是从mingw相关的库目录里拷过来的,git,qt等这些目录都有
  • libgfortran-3.dll和libquadmath_64-0.dll是从adda(https://github.com/adda-team/adda/releases)这个库里拷过来的,注意改名

然后,在mxnet/python目录下使用命令行安装mxnet的python包

python setup.py install

19d78a830b8827fe987ca040ed6c7352.png

安装过程中,python会自动把对应的dll考到安装目录,正常安装完成后,在python中就可以 import mxnet 了

生成C++依赖头文件 op.h

为了能够使用C++原生接口,这一步是很关键的一步,目的是生成mxnet C++程序依赖的op.h文件

如果直接指向编译mxnet并使用C++,前面的python包安装可以不做

在mxnet/cpp-package/scripts目录,将所有依赖到的dll拷贝进来

dd90305687e7538ba15231d05b2922d1.png

在此目录运行命令行

python OpWrapperGenerator.py libmxnet.dll

b8011065c3faba9822143715f729de09.png

正常情况下就可以在mxnet/cpp-package/include/mxnet-cpp目录下生成op.h了

4003863e63d1ad46107725d15a3b46bd.png

如果这个过程中出现一些error,多半是dll文件缺失或者版本不对,很好解决

构建C++示例程序

建立cpp工程,这里使用经典的mnist手写数字识别训练示例(请提前下载好mnist数据,地址:mnist),启用GPU支持

选择release x64模式

c0cbd584878450c6c4fab6cd876241b5.png

配置include和lib目录以及附加依赖项

64991bd37dcef828b0e01b7b60cc2a69.png

0c290ac5581df66c3f432f4ed4ea3b5f.png

include目录包括:

  • D:mxnetinclude
  • D:mxnetdmlc-coreinclude
  • D:mxnetnnvminclude
  • D:mxnetcpp-packageinclude

lib目录:

  • D:mxnetbuild_x64Release

附加依赖项:

  • libmxnet.lib

代码 main.cpp

#include 

编译生成目录

  • 预先把mnist数据拷进去,维持相对目录结构
  • 在执行目录也要把所有依赖的dll拷贝进来

7de2a7dfe3eb23baa7ad9eddd580be79.png

419409adc1b3afb1ae850a2ff697873b.png

运行结果

92f5d4dfb60e087ee17983ddf351b2d2.png

在官方的example里面有mlp的cpu和gpu两个版本,有兴趣的话可以跑起来做一个对比

其实,在某些数据量小的情况下,gpu版本并不明显比cpu版本消耗的训练时间少

至此,大功告成

e62ae0753f4fe07f0d83bf0b0ec907b4.png
支持是知识分享的动力,有问题可扫码哦
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值