(48)Air Band OpenCV2.4.13_非线性离散数据的支持向量机

本文是对OpenCV2.4.13文档的部分翻译，作个人学习之用，并不完整。

计算机视觉中SVM的大多数应用都需要比一个简单的线性分类器更有用的工具。这就导致了这些任务不能简单地用一个超平面来分离。

例如面部检测，训练数据是由一组脸的图像和另一组非脸的图像组成的。这种训练数据太复杂以至于不能找到可以将整个脸部集合与非脸部集合线性分割的每个示例的表示方法（特征向量）。

优化问题的扩展：

使用SVM可以获得一个分离超平面。因此，既然训练数据是非线性离散的，我们必须承认找到的超平面会对某些示例分类错误。这种错误分类是优化中必须考虑的一个新变量。新的模型必须包括了旧的找到最大margin的超平面的需求和新的不允许过多分类错误来正确生成训练数据的需求。我们从找到margin最大的超平面的优化问题的公式开始：

有很多方法来修改这个模型来加入分类错误的考虑。例如可以最小化同样的数量并加上一个表示分类错误数量的常量：

但是这不是一个很好的办法，因为还有很多原因使得我们并不能区分示例是否因为距离分离域很小而错误分类。所以更好的方式是考虑错误分类示例到他们的正确分离域的距离：

对于每个训练数据的示例定义一个新的参数，每个参数都包含了从对应训练示例到他们正确分离域之间的距离。下面一幅图显示了两类非线性离散训练数据、一个分离超平面和分类错误的示例到他们正确区域的距离。

注意：只有分类错误的示例才显示在图像中，其余的示例因为已经在正确的分离域中故距离是0。红色和蓝色的线是到每个分离域的margin。每个伴随着一个从分类错误的训练示例到它的正确区域的margin。

参数C的选择取决于训练数据的分布情况，尽管没有确切的答案，可以考虑这些规则：

• C值很大可以处理更少的分类错误和更小的margin。这对于分类错误有很大的花费，因为优化的目标就是将参数最小化，只允许很少的分类错误。
• C值很小可以处理更大的margin和更多的分类错误。最小化并不太考虑总数，所以更专注于找到有大margin的超平面。

#include <iostream>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/ml/ml.hpp>

#define	NTRAINING_SAMPLES	100			// 每类训练示例的数量
#define FRAC_LINEAR_SEP		0.9f	    // 组成线性离散部分示例的比例

using namespace cv;
using namespace std;

static void help()
{
    cout<< "\n--------------------------------------------------------------------------" << endl
        << "This program shows Support Vector Machines for Non-Linearly Separable Data. " << endl
        << "Usage:"                                                               << endl
        << "./non_linear_svms" << endl
        << "--------------------------------------------------------------------------"   << endl
        << endl;
}

int main()
{
    help();

    // 可视化显示的数据
    const int WIDTH = 512, HEIGHT = 512;
    Mat I = Mat::zeros(HEIGHT, WIDTH, CV_8UC3);

    //--------------------- 1. 随机建立训练数据 ---------------------------------------
	// 训练数据由一组属于两个类别的标记了的二维点组成，由一个正态概率密度分布函数生成。首先生成每类中线性离散的数据
    Mat trainData(2*NTRAINING_SAMPLES, 2, CV_32FC1);
    Mat labels   (2*NTRAINING_SAMPLES, 1, CV_32FC1);

    RNG rng(100); // 随机值生成类

    // 建立训练数据中的线性离散部分
    int nLinearSamples = (int) (FRAC_LINEAR_SEP * NTRAINING_SAMPLES);

    // 生成类1的随机点
    Mat trainClass = trainData.rowRange(0, nLinearSamples);
    // 在[0,0.4)的点的x坐标
    Mat c = trainClass.colRange(0, 1);
    rng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(0.4 * WIDTH));
    // 在[0,1)的店的y坐标
    c = trainClass.colRange(1,2);
    rng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(HEIGHT));

    // 生成类2的随即点
    trainClass = trainData.rowRange(2*NTRAINING_SAMPLES-nLinearSamples, 2*NTRAINING_SAMPLES);
    // 在[0.6,1)的点的x坐标
    c = trainClass.colRange(0 , 1);
    rng.fill(c, RNG::UNIFORM, Scalar(0.6*WIDTH), Scalar(WIDTH));
    // 在[0,1)的点的y坐标
    c = trainClass.colRange(1,2);
    rng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(HEIGHT));

    //------------------ 建立训练数据中的非线性离散部分 ---------------

    // 生成类1和类2的随机点，相互覆盖
    trainClass = trainData.rowRange(  nLinearSamples, 2*NTRAINING_SAMPLES-nLinearSamples);
    // 在[0.4,0.6)的点的x坐标
    c = trainClass.colRange(0,1);
    rng.fill(c, RNG::UNIFORM, Scalar(0.4*WIDTH), Scalar(0.6*WIDTH));
    // 在[0,1)的点的y坐标
    c = trainClass.colRange(1,2);
    rng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(HEIGHT));

    //------------------------- 为各类建立标记 ---------------------------------
    labels.rowRange(                0,   NTRAINING_SAMPLES).setTo(1);  // 类1
    labels.rowRange(NTRAINING_SAMPLES, 2*NTRAINING_SAMPLES).setTo(2);  // 类2

    //------------------------ 2. 建立支持向量机的参数 --------------------
    CvSVMParams params;
    params.svm_type    = SVM::C_SVC;
    params.C 		   = 0.1;//选择一个小的值以便不对分类错误过度惩罚，在这里只有很少的点处于各类相互覆盖的区域中，给定FRAC_LINEAR_SEP一个更小的值，点的密度就会增大并且参数C_SVC的影响更大
    params.kernel_type = SVM::LINEAR;
    params.term_crit   = TermCriteria(CV_TERMCRIT_ITER, (int)1e7, 1e-6);//算法的最终标准,迭代的最大值显著增加来更准确地解决非线性离散的训练数据。实际中，我们增加五个量级。

    //------------------------ 3. 训练SVM ----------------------------------------------------
    cout << "Starting training process" << endl;
    CvSVM svm;
    svm.train(trainData, labels, Mat(), Mat(), params);//调用train来构建SVM模型，训练过程可能会花很长时间。
    cout << "Finished training process" << endl;

    //------------------------ 4. 显示分离域 ----------------------------------------
	//predict用于将输入的示例用训练过的SVM分类。这里用来将基于SVM预计的区域填色。
	//换句话说就是将图像像素理解为Cartesian平面中的点来穿透图像。深绿色的点表示标记为1的类，深蓝色的点表示标记为2的类
    Vec3b green(0,100,0), blue (100,0,0);
    for (int i = 0; i < I.rows; ++i)
        for (int j = 0; j < I.cols; ++j)
        {
            Mat sampleMat = (Mat_<float>(1,2) << i, j);
            float response = svm.predict(sampleMat);

            if      (response == 1)    I.at<Vec3b>(j, i)  = green;
            else if (response == 2)    I.at<Vec3b>(j, i)  = blue;
        }

    //----------------------- 5. 显示训练数据 --------------------------------------------
	//circle函数用于显示组成训练数据的示例，浅绿色的点表示标记为1的示例，浅蓝色的点表示标记为2的示例
    int thick = -1;
    int lineType = 8;
    float px, py;
    // 类1
    for (int i = 0; i < NTRAINING_SAMPLES; ++i)
    {
        px = trainData.at<float>(i,0);
        py = trainData.at<float>(i,1);
        circle(I, Point( (int) px,  (int) py ), 3, Scalar(0, 255, 0), thick, lineType);
    }
    // 类2
    for (int i = NTRAINING_SAMPLES; i <2*NTRAINING_SAMPLES; ++i)
    {
        px = trainData.at<float>(i,0);
        py = trainData.at<float>(i,1);
        circle(I, Point( (int) px, (int) py ), 3, Scalar(255, 0, 0), thick, lineType);
    }

    //------------------------- 6. 显示支持向量 --------------------------------------------
	// 这里使用了一对方法来获取支持向量的信息
	// get_support_vector_count输出在问题中使用的支持向量的总数
	// get_support_vector用下标获取每一个支持向量
	// 这里使用这些方法来找到是支持向量的训练示例并将他们高亮显示
    thick = 2;
    lineType  = 8;
    int x     = svm.get_support_vector_count();

    for (int i = 0; i < x; ++i)
    {
        const float* v = svm.get_support_vector(i);
        circle(	I,  Point( (int) v[0], (int) v[1]), 6, Scalar(128, 128, 128), thick, lineType);
    }

    imwrite("result.png", I);	                   // 保存图像
    imshow("SVM for Non-Linear Training Data", I); // 显示给用户
    waitKey(0);
}

结果：

代码打开一个图像并显示了对两个类的训练示例。一个类中点表示为浅绿色，另一个类中的点表示为浅蓝色。两个区域的编辑就是分离超平面。因为训练数据是非线性离散的，可以看到两个类中有一些示例被错误分类。最终支持向量用灰色的圆圈显示出来（有点问题）。