Caffe模型测试之分类错误分析

    本文主要是对我自己在caffe下训练自己的数据后，得到的模型进行测试，发现分类有严重的错误，即分类偏向于另外的几类，而且识别率比验证时的还要低许多。

注：转载请注明出处

1. 引言

        我最近在做一个声音识别的实验，利用深度学习框架caffe来对自己收集来的声音进行分类训练，即构建一个分类器。在经过训练后，必然需要对训练出的模型进行测试，但测试后发现识别的结果是：有几类的数据大多数被识别成其他的类别，导致这几个类别的识别率很低，甚至为0，而另外几个类别的识别率很高。

2. 描述

    另外，我需要说明的是：我使用Python测试，或者是命令行一张一张图片测试，它们的结果都是一致的。我的数据都是将声音转化为声谱图进行实验的，而且训练数据足够多。

3. 解决方法
我在网上查看了很多资料，发现有人和我的情况相似。后来我查看到了一片文章，根据其情况进行改进后，识别效果提高。以下为改进的方法：
（1）将测试数据集转化为lmdb格式， 修改train_val.prototxt文件内的test层中的测试数据集路径为你的lmdb格式的测试集路径。在转化的时候，务必要去掉–shuffle参数，不要打乱数据，因为有顺序的数据在后面的测试中，可以容易地查看某一类或者某一张图片的识别结果。
（2）修改test中的batch_size，若batch_size为1，则每次投入网络中测试的图片为1张，可以很方便地看出该图片的识别成功与否。如图为我的测试截图：

我的实验是7分类，每一类的测试数据有100张声谱图，而我设置的batch_size大小为50，故而每两个batch的测试结果即为我的一类的识别结果。如batch0和batch1的综合结果为我的0类的识别结果
（3）测试的代码如下：

   #!/usr/bin/env sh
set -e
./build/tools/caffe test -model examples/mytask2/train_test.prototxt \
 -weights examples/mytask2/caffe_alexnet_train_iter_4200.caffemodel \
 -iterations 14 \ 

4.结果分析
至于为什么利用Python接口或者是命令行一张一张图片地测试，识别率明显偏向某些类别，而利用此方式，将测试集数据带入网络中进行测试后，识别率就会明显好很多，我自己还在探究之中，若是有人已经有了眉目，欢迎你留言共同探讨。

---

以下是测试方法的介绍，以及他人相似情况的解决：
（1）https://www.zhihu.com/question/53141838
（2）https://groups.google.com/forum/#!searchin/caffe-users/test$20accuracy$20python%7Csort:relevance/caffe-users/3gi8MrSJTvU/H_gbfHdEGMoJ
（3）http://blog.csdn.net/yiliang_/article/details/60464968