自动车牌识别（ANPR）练习项目学习笔记2（基于opencv）

本文接着上一篇 《自动车牌识别（ANPR）练习项目学习笔记1（基于opencv）》 继续做笔记

C.  SVM分类算法的原始数据准备、训练和判别

上一篇结束的时候获得了 vector<Plate> 类型的 posible_regions ， 里面存放了被认为有可能是牌照区域的Plate。Plate类没有搞明白，但是这里要用到的 posible_regions[i].plateImg 是一个Mat 类型的灰度图。

这一部分有两步，第一是准备原始数据，得到SVM.xml 。第二是用这些数据进行训练和判别。最终目的是把posible_regions分成两类，牌照区域和无效区域。

1. SVM.xml 是由 trainSVM 这个工程实现的。trainSVM.cpp代码如下：

#include <cv.h>
#include <highgui.h>
#include <cvaux.h>

#include <iostream>
#include <vector>

using namespace std;
using namespace cv;

int main ( int argc, char** argv )
{
    cout << "OpenCV Training SVM Automatic Number Plate Recognition\n";
    cout << "\n";

    char* path_Plates;   //是牌照图像的存放路径
    char* path_NoPlates; //非牌照图像的存放路径
    int numPlates;       //是牌照图像的个数（75）
    int numNoPlates;     //非牌照图像的个数（36）
    int imageWidth=144;
    int imageHeight=33; 

    //Check if user specify image to process
    if(argc >= 5 )
    {
        numPlates= atoi(argv[1]); //atoi:alphanumeric to integer 把字符串转换成整形
        numNoPlates= atoi(argv[2]);
        path_Plates= argv[3];
        path_NoPlates= argv[4];

    }else{
        cout << "Usage:\n" << argv[0] << " <num Plate Files> <num Non Plate Files> <path to plate folder files> <path to non plate files> \n";
        return 0;
    }        

    Mat classes;//(numPlates+numNoPlates, 1, CV_32FC1);
    Mat trainingData;//(numPlates+numNoPlates, imageWidth*imageHeight, CV_32FC1 );

    Mat trainingImages;
    vector<int> trainingLabels;

    for(int i=0; i< numPlates; i++)
    {

        stringstream ss(stringstream::in | stringstream::out);
        ss << path_Plates << i << ".jpg";
        Mat img=imread(ss.str(), 0);
        img= img.reshape(1, 1);   //reshape成1 channel，1 rows， x cols
        trainingImages.push_back(img);
        trainingLabels.push_back(1);
    }

    for(int i=0; i< numNoPlates; i++)
    {
        stringstream ss(stringstream::in | stringstream::out);
        ss << path_NoPlates << i << ".jpg";
        Mat img=imread(ss.str(), 0);
        img= img.reshape(1, 1);
        trainingImages.push_back(img);
        trainingLabels.push_back(0);

    }

    Mat(trainingImages).copyTo(trainingData);
    //trainingData = trainingData.reshape(1,trainingData.rows);
    trainingData.convertTo(trainingData, CV_32FC1);
    Mat(trainingLabels).copyTo(classes);

    FileStorage fs("SVM.xml", FileStorage::WRITE);
    fs << "TrainingData" << trainingData;
    fs << "classes" << classes;
    fs.release();

    return 0;
}

原资料包中没有提供原始数据图片，所以一开始有点困惑。但是PDF文档中说明了情况，原作者采集了75张牌照图片和36张非牌照图片的信息。大体上这些图像是这样子的：

（上一篇中有讲到保存这样的图片，但是我找不到保存到哪里了，否则可以自己产生这样的样本图片。这个问题先放着。）

            if(saveRegions){ 
                stringstream ss(stringstream::in | stringstream::out);
                ss << "tmp/" << filename << "_" << i << ".jpg";
                imwrite(ss.str(), grayResult);  //imwrite()中用string保存文件名的方法
            }

根据作者定义的几个变量：char* path_Plates;   char*  path_NoPlates; 推测作者把这两类图片放在两个文件夹中，路径地址是在DOS命令中输入的时候给出的： path_plate = argv[3];  path_NoPlate = argv[4];   并且每个文件夹中的图片命名方式是从数字“0”开始，往上递增。

图片的数量也是这样给出的：numPlates = atoi(argv[1]);   其中atoi() 函数将字符串型转换成整型。根据main()函数的第二种定义形式：int main（int argc,  char* argv[]）可知argv[1] 的类型为char*, 即指向字符串的指针；而atoi( argv[1] ) 就是通过函数 atoi (其声明为：int  atoi( const char* nptr ); ) 将argv[1] 指向的字符串转换为整型，因为numPlates是整型。

（我一直用的是控制台应用程序，不知道在什么样的环境下输入argc, argv。）

接下来分别将两个文件夹中的图片信息采集到 trainingData 和 class 中。注意这两个都是 Mat. 如果需要初始化的话，应该是这样：

Mat  class( 1, numPlates+numNoPlates, CV_32FC1 );

Mat  trainingData( numPlates+numNoPlates, imgWidth*imgHeight , CV_32FC1 );

reshape()  函数是通过改变矩阵的通道数和行数，自动计算列数，从而改变矩阵的形状。 img = img.reshape(1,1) 就是把img 变成单通道的行矩阵。再通过push_back 一行一行压进Mat  trainingImges中。（由此看出Mat 类型也是可以push_back的，和 vector一样）。

最终 trainingImages 中装了是牌照图及非牌照图的所有像素灰度值（一个图片一行）； trainingLabels中装的是对应的判断值，及“0”或“1”。

接下来做一下格式转换，复制变量： trainingImage -> trainingData     traniningLabels -> classes;          

        发现vector<int> 类型的 trainingLabels 可以直接复制给Mat类型的行矩阵classes.     

接下来将 trainingData 和 classes 中的数据写到文件 "SVM.xml"中。 用到了 FileStorage 类。SVM.xml文件大概是这样子的。其中TrainingData 数据太多，把它折叠了。

2.  SVM训练和判别

在main函数中，先设置SVM参数，然后调用svmClassifier()函数就完成了训练。按照我仅有的一点印象，应该是写成这样：

CvSVM svmClassifier;
svmClassifier.train(SVM_TrainingData, SVM_Classes, Mat(), Mat(), SVM_params);

但实际上作者是这样写的：

CvSVM svmClassifier(SVM_TrainingData, SVM_Classes, Mat(), Mat(), SVM_params);

不知道两者是否一样。

关于参数该怎么写，opencv手册上没有详细介绍，估计是要根据选择的类型和核函数具体来定。这里确定了SVM类型：使用C支持向量机；核函数类型：线性；终止条件：达到最大迭代次数后终止。

下一步是判别。依次取出possible_regions里面的Plate. 调用svmClassifier.predict() 返回值有1和-1.

每一个样本都是一个行矩阵，矩阵值是像素灰度值。原作者推荐了更好的方法，比如主成分分析。

关于SVM的原理我还不理解，推荐几个链接：

http://www.cnblogs.com/jerrylead/archive/2011/03/13/1982639.html

作者写了SVM系列，全是公式推导。

http://blog.csdn.net/v_july_v/article/details/7624837

长文，很详细。

http://www.zhihu.com/question/21094489

知乎，有立体图

到这里已经完成了车牌区域的识别，把不是车牌的区域去除了。下一步将是车牌字符识别。

未完待续。