C++使用matlab卷积神经网络库MatConvNet来进行手写数字识别

环境：WIN10(64 bit)+VS2010(64 bit)+Matlab2015b(64 bit)

关于MatConvNet的介绍参考：http://www.vlfeat.org/matconvnet/

Github下载地址为：https://github.com/vlfeat/matconvnet/

我们的目的是将MatConvNet自带的手写数字识别DEMO移植到一个简单的WIN32 DEMO中使用，主要过程有以下几个步骤：

（1）配置MatConvNet，然后将手写数字识别DEMO编译成c++ shared library。

（2）编写调用代码并测试结果。

 

配置编译MatConvNet以及MNIST例子

首先从上面的地址中下载MatConvNet的源码并解压，然后打开Matlab2015b，将源码的matlab文件夹设置为当前路径，如下图所示：

执行mex -setup命令，此时matlab会显示可用的编译器，效果如下：

然后选择我们想用的编译器即可Microsoft Visual C++ 2010 (C)（直接用鼠标点），然后输入编译命令：vl_compilenn，执行，完成后可以看到多了一个名叫mex的文件夹，如下图所示：

这样就配置完成了，下面我们来编译examples下的mnist例子，切换matlab的当前路径到mnist文件夹，打开cnn_mnist.m文件，直接执行，如下图所示：

上面其实就是在下载对应的训练数据（数据存放在data\mnist目录下，总共有4个文件：t10k-images-idx3-ubyte，t10k-labels-idx1-ubyte，train-images-idx3-ubyte和train-labels-idx1-ubyte）。当然也可以把对应数据先下载下来，然后放到指定的目录，就可以跳过这一步啦。

等待一段时间后（默认有20个epoch，可以修改cnn_mnist_init.m文件中net.meta.trainOpts.numEpochs 的值来减少epoch数量，减少等待时间），训练完成后，打开data\mnist-baseline-simplenn文件夹可以看到训练的结果如下：

然后执行下面两条命令：

[net, ~]=cnn_mnist();
save('..\\..\\data\\mnist-baseline-simplenn\\net.mat', '-struct', 'net');

执行后可以看到mnist-baseline-simplenn目录下多了一个net.mat文件，后面我们需要用到imdb.mat和net.mat。

下面我们就需要编写一个自己的test_mnist.m文件，然后用它来生成c++ shared library。

这里需要注意一下，vl_setupnn这个函数其实就是把matlab文件夹下的所有子文件夹的路径加到matlab的路径变量中，类似VS里设置头文件目录的概念，所以为了简便，我们直接把matlab下的.m文件和matlab\mex下的.mex64文件拷贝到一个文件夹里，我直接放在D盘下的test_mnist文件夹下，并新建了一个空的文件test_mnist.m，如下图所示：

将下面的代码拷贝到test_mnist.m文件中：

function numeric = test_mnist(img, net_path, imdb_path)
net = load(net_path);
imdb = load(imdb_path);
net.layers{1, end}.type = 'softmax';
%resize inuput img
img = imresize(img, [28 28], 'bicubic');
img = single(img);
img = bsxfun(@minus, img, imdb.images.data_mean);
res = vl_simplenn(net, img);
[~, ~, n] = size(res(end).x(1, 1, :))
tmp = 0.0;
for i = 1 : n
    res(end).x(1, 1, i)
    if tmp < res(end).x(1, 1, i)
        numeric = i - 1;
        tmp = res(end).x(1, 1, i);
    end
end

注意：vl_simplenn函数返回的是一个多维的数组，最后一个维度保存的是分别识别为0~9的概率值，最大概率值就是最后的结果。

 

现在开始编译C++ shared library，有两种方式，第一种是用命令的方式编译，另外一种是用Matlab自带的可视化工具Library Compiler，我们采用第一种方式，输入如下命令：

mcc -W cpplib:dnrecognize -T link:lib test_mnist

dnrecognize表示生成的library name，test_mnist指定的要编译的matlab文件。

 

编译完成后，在当前目录下会生成不少文件，我们主要关注三个（dnrecognize.dll，dnrecognize.h，dnrecognize.lib）：

好了，我们需要在C++中调用的库已经准备好了，现在我们新建一个WIN32的工程TestMnist来测试。

配置如下：

Include header file directory:

.\test_mnist;
C:\Program Files\MATLAB\R2015b\extern\include;
C:\Program Files\MATLAB\R2015b\extern\include\win64

Library directory:

.\test_mnist;
C:\Program Files\MATLAB\R2015b\extern\lib\win64\microsoft

编写WIN32部分的代码

这部分可以按自己的想法来搭建，我简单实现了一个背景黑色的窗口，然后可以用鼠标在上面画数字，左键按下就可以手写一个数字，右键擦出，中键识别手写数字，界面和效果如下：

cnn_mnist函数参数传入时，一定要注意在matlab中矩阵是按列优先存储的，切记切记。

对本人劣质代码有兴趣的下载地址如下：

http://download.csdn.net/detail/jieleiping/9500490

存在的问题：

（1）似乎手写的数字8就没正确过？不知道什么原因。

（2）程序运行过程中，有很多的异常信息，不知道为什么，但是程序执行时正确的。如果有谁知道原因，请一定要告诉我，谢谢。错误信息如下：

TestMnist.exe 中的 0x00007ffaf3531f28 处最可能的异常: Microsoft C++ 异常: 内存位置 0x154feb18 处的 std::logic_error。
TestMnist.exe 中的 0x00007ffaf3531f28 处最可能的异常: Microsoft C++ 异常: 内存位置 0x0b4ec570 处的 matrix::serialize::EndOfFile。
TestMnist.exe 中的 0x00007ffaf3531f28 处最可能的异常: Microsoft C++ 异常: 内存位置 0x0b4e7d60 处的 CryptoPP::AES_PHM_Decryption::InvalidCiphertextOrKey。
TestMnist.exe 中的 0x00007ffaf3531f28 处最可能的异常: Microsoft C++ 异常: 内存位置 0x0014e218 处的 fl::filesystem::PathNotFound。
TestMnist.exe 中的 0x00007ffaf3531f28 处最可能的异常: Microsoft C++ 异常: 内存位置 0x0014cf10 处的 xsd_binder::MalformedDocumentError。

题外话，如果需要将程序发布出去，似乎特别的麻烦。

一开始我认为把DLL带上就可以了（包括VS的库，test_mnist.dll以及R2015b\runtime\win64目录下的mclmcrrt9_0.dll），但是放到其他没有相应Matlab环境的电脑上无法运行。一百度说是在没有安装Matlab的电脑上执行Matlab，需要在对应电脑上安装MCR。

详情可见：http://cn.mathworks.com/products/compiler/mcr/index.html?refresh=true

 

其实MATLAB\R2015b\toolbox\compiler\deploy\win64目录下MCRInstaller.exe这个文件就是对应的MCR安装文件。（实际上也可以在用matlab compiler编译c++ shared library时指定附加MCR，这里就不详述了）。