![3a0be7147c959553949b3b8354aa7974.png](https://img-blog.csdnimg.cn/img_convert/3a0be7147c959553949b3b8354aa7974.png)
原文:windows下编译mxnet并使用C++训练模型 - CSDN博客
大多数情况下,mxnet都使用python接口进行深度学习程序的编写,方便快捷,但是有的时候,需要把机器学习训练和识别的程序部署到生产版的程序中去,比如游戏或者云服务,此时采用C++等高级语言去编写才能提高性能,本文介绍了如何在windows系统下从源码编译mxnet,安装python版的包,并使用C++原生接口创建示例程序。
目标
- 编译出libmxnet.lib和libmxnet.dll的gpu版本
- 从源码安装mxnet python包
- 构建mxnet C++示例程序
环境
- windows10
- vs2015
- cmake3.7.2
- Miniconda2(python2.7.14)
- CUDA8.0
- mxnet1.2
- opencv3.4.1
- OpenBLAS-v0.2.19-Win64-int32
- cudnn-8.0-windows10-x64-v7.1(如果编译cpu版本的mxnet,则此项不需要)
步骤
下载源码
最好用git下载,递归地下载所有依赖的子repo,源码的根目录为mxnet
git
依赖库
在此之前确保cmake和python已经正常安装,并且添加到环境变量,然后再下载第三方依赖库
- 下载安装cuda,确保机器是英伟达显卡,且支持cuda,地址:https://developer.nvidia.com/cuda-toolkit
- 下载安装opencv预编译版,地址:https://sourceforge.net/projects/opencvlibrary/files/opencv-win/3.4.1/opencv-3.4.1-vc14_vc15.exe/download
- 下载openblas预编译版,地址:https://sourceforge.net/projects/openblas/files/v0.2.19/
- 下载cudnn预编译版,注意与cuda版本对应,地址:https://developer.nvidia.com/compute/machine-learning/cudnn/secure/v7.0.5/prod/8.0_20171129/cudnn-8.0-windows10-x64-v7
cmake配置
打开cmake-gui,配置源码目录和生成目录,编译器选择vs2015 win64
![c16deb315404a21e7c8966bae3aeef2f.png](https://img-blog.csdnimg.cn/img_convert/c16deb315404a21e7c8966bae3aeef2f.png)
配置第三方依赖库
![3ba182cf5bfb2cdd8bb88d2e8f3d5d8c.png](https://img-blog.csdnimg.cn/img_convert/3ba182cf5bfb2cdd8bb88d2e8f3d5d8c.png)
![1645ecec12b1e398da6e1d7825c20bc6.png](https://img-blog.csdnimg.cn/img_convert/1645ecec12b1e398da6e1d7825c20bc6.png)
![bc2bf70a39cda6241aa78bfff2a0c178.png](https://img-blog.csdnimg.cn/img_convert/bc2bf70a39cda6241aa78bfff2a0c178.png)
configure和generate
![f2df68941b76534ee0d00e8e12a0537b.png](https://img-blog.csdnimg.cn/img_convert/f2df68941b76534ee0d00e8e12a0537b.png)
注意:在这一步中不要勾选cpppackage选项,不然会编译不过,因为这选项是为了生成op.h这个头文件的,但是由于官网文档的bug,目前无法通过配置cmake编译自动生成,后面会讲手动生成
编译vs工程
打开mxnet.sln,配置成release x64模式,编译整个solution
![a09a411d3b5301244689b69d335132e2.png](https://img-blog.csdnimg.cn/img_convert/a09a411d3b5301244689b69d335132e2.png)
编译完成后会在对应文件夹生成mxnet的lib和dll
![f9f6386256fc4d384b3b1dd7b589533b.png](https://img-blog.csdnimg.cn/img_convert/f9f6386256fc4d384b3b1dd7b589533b.png)
此时整个过程成功了一半
安装mxnet的python包
有了libmxnet.dll就可以同源码安装python版的mxnet包了
不过,前提是需要集齐所有依赖到的其他dll,如图所示,将这些dll全部拷贝到mxnet/python/mxnet目录下
![8c0eb041d346b03c631febcc5105275f.png](https://img-blog.csdnimg.cn/img_convert/8c0eb041d346b03c631febcc5105275f.png)
tips: 关于dll的来源
- opencv,openblas,cudnn相关dll都是从这几个库的目录里拷过来的
- libgcc_s_seh-1.dll和libwinpthread-1.dll是从mingw相关的库目录里拷过来的,git,qt等这些目录都有
- libgfortran-3.dll和libquadmath_64-0.dll是从adda(https://github.com/adda-team/adda/releases)这个库里拷过来的,注意改名
然后,在mxnet/python目录下使用命令行安装mxnet的python包
python setup.py install
![19d78a830b8827fe987ca040ed6c7352.png](https://img-blog.csdnimg.cn/img_convert/19d78a830b8827fe987ca040ed6c7352.png)
安装过程中,python会自动把对应的dll考到安装目录,正常安装完成后,在python中就可以 import mxnet 了
生成C++依赖头文件 op.h
为了能够使用C++原生接口,这一步是很关键的一步,目的是生成mxnet C++程序依赖的op.h文件
如果直接指向编译mxnet并使用C++,前面的python包安装可以不做
在mxnet/cpp-package/scripts目录,将所有依赖到的dll拷贝进来
![dd90305687e7538ba15231d05b2922d1.png](https://img-blog.csdnimg.cn/img_convert/dd90305687e7538ba15231d05b2922d1.png)
在此目录运行命令行
python OpWrapperGenerator.py libmxnet.dll
![b8011065c3faba9822143715f729de09.png](https://img-blog.csdnimg.cn/img_convert/b8011065c3faba9822143715f729de09.png)
正常情况下就可以在mxnet/cpp-package/include/mxnet-cpp目录下生成op.h了
![4003863e63d1ad46107725d15a3b46bd.png](https://img-blog.csdnimg.cn/img_convert/4003863e63d1ad46107725d15a3b46bd.png)
如果这个过程中出现一些error,多半是dll文件缺失或者版本不对,很好解决
构建C++示例程序
建立cpp工程,这里使用经典的mnist手写数字识别训练示例(请提前下载好mnist数据,地址:mnist),启用GPU支持
选择release x64模式
![c0cbd584878450c6c4fab6cd876241b5.png](https://img-blog.csdnimg.cn/img_convert/c0cbd584878450c6c4fab6cd876241b5.png)
配置include和lib目录以及附加依赖项
![64991bd37dcef828b0e01b7b60cc2a69.png](https://img-blog.csdnimg.cn/img_convert/64991bd37dcef828b0e01b7b60cc2a69.png)
![0c290ac5581df66c3f432f4ed4ea3b5f.png](https://img-blog.csdnimg.cn/img_convert/0c290ac5581df66c3f432f4ed4ea3b5f.png)
include目录包括:
- D:mxnetinclude
- D:mxnetdmlc-coreinclude
- D:mxnetnnvminclude
- D:mxnetcpp-packageinclude
lib目录:
- D:mxnetbuild_x64Release
附加依赖项:
- libmxnet.lib
代码 main.cpp
#include
编译生成目录
- 预先把mnist数据拷进去,维持相对目录结构
- 在执行目录也要把所有依赖的dll拷贝进来
![7de2a7dfe3eb23baa7ad9eddd580be79.png](https://img-blog.csdnimg.cn/img_convert/7de2a7dfe3eb23baa7ad9eddd580be79.png)
![419409adc1b3afb1ae850a2ff697873b.png](https://img-blog.csdnimg.cn/img_convert/419409adc1b3afb1ae850a2ff697873b.png)
运行结果
![92f5d4dfb60e087ee17983ddf351b2d2.png](https://img-blog.csdnimg.cn/img_convert/92f5d4dfb60e087ee17983ddf351b2d2.png)
在官方的example里面有mlp的cpu和gpu两个版本,有兴趣的话可以跑起来做一个对比
其实,在某些数据量小的情况下,gpu版本并不明显比cpu版本消耗的训练时间少
至此,大功告成
![e62ae0753f4fe07f0d83bf0b0ec907b4.png](https://img-blog.csdnimg.cn/img_convert/e62ae0753f4fe07f0d83bf0b0ec907b4.png)