机器学习 -- SVM

1.什么是SVM？

SVM–支持向量机，是一个类分类器，正确的定义是一个能够将不同类样本在样本空间分隔的超平面。换句话说，给定一些标记（label）好的训练样本（监督式学习），SVM算法输出一个最优化的分隔超平面

首先，如何界定一个超平面是否为最优？

如上图所示，要将这两类二维的点用直线分隔，就要找到一条最优化的分隔线。

如何定义那一条直线最好呢？可以用一个值去定义，而这个之就是超平面离所有训练样本的最小距离。也就是间隔，而最优分割超平面就是最大化训练数据的间隔

因为如果间隔太小，就表示噪点对结果的影响越大，直线对噪声敏感度高，泛化性较差。

2.如何计算最优超平面？

下面的公式定义了超平面的表达式


表示权重向量，

表示偏置（bias）

最优超平面可以有无数种表达方式，即通过任意缩放权重向量和偏置。

式中x表示离超平面最近的那些点。这些点被称为支持向量。该超平面也成为canonical超平面

通过几何学的知识，可以知道点x到超平面的距离为

特别的，对于canonical超平面，表达式中的分子为1，因此支持向量到canonical超平面的距离为

而刚刚所提到的间隔M，它的取值时最近距离的两倍

最后最大化M转化为附加限制条件下最小化函数L（β）。限制条件隐含超平面将所有训练样本正确分类的条件

训练代码：

#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/ml/ml.hpp>

using namespace cv;

int main()
{
    // 设置一张空白图用来操作
    int width = 512, height = 512;
    Mat image = Mat::zeros(height, width, CV_8UC3);

    // 建立训练样本
    //训练样本分属于两个类别的2维点
    //定义样本点对应的矩阵来训练
    float labels[4] = { 1.0, -1.0, -1.0, -1.0 };
    Mat labelsMat(3, 1, CV_32FC1, labels);

    float trainingData[4][2] = { {501, 10}, {255, 10}, {501, 255}, {10, 501} };
    Mat trainingDataMat(3, 2, CV_32FC1, trainingData);

    // 设置SVM参数
    CvSVMParams params;
    //CvSVM::C_SVC类型，可以用于n类分类问题
    params.svm_type = CvSVM::C_SVC;
    //CvSVM::LINEAR--SVM核类型。
    //和函数的目的是为了将训练杨本映射到更加有利于可线性分隔的样本集。
    //映射的结果是增加了样本项链的维度
    //LINEAR则表示不需要进行映射
    params.kernel_type = CvSVM::LINEAR;
    //算法终止条件设定
    params.term_crit = cvTermCriteria(CV_TERMCRIT_ITER, 100, 1e-6);

    // 训练支持向量机
    CvSVM SVM;
    SVM.train(trainingDataMat, labelsMat, Mat(), Mat(), params);

    Vec3b green(0, 255, 0), blue(255, 0, 0);


    // SVM区域分隔
    //函数CvSVM::predict通过重建训练完毕的支持向量机来将输入样本分类
    for (int i = 0; i < image.rows; ++i)
        for (int j = 0; j < image.cols; ++j)
        {
            Mat sampleMat = (Mat_<float>(1, 2) << i, j);
            float response = SVM.predict(sampleMat);

            if (response == 1)
                image.at<Vec3b>(j, i) = green;
            else if (response == -1)
                image.at<Vec3b>(j, i) = blue;
        }

    // 展示训练数据（画出4个圆点）
    int thickness = -1;
    int lineType = 8;
    circle(image, Point(501, 10), 5, Scalar(0, 0, 0), thickness, lineType);
    circle(image, Point(255, 10), 5, Scalar(255, 255, 255), thickness, lineType);
    circle(image, Point(501, 255), 5, Scalar(255, 255, 255), thickness, lineType);
    circle(image, Point(10, 501), 5, Scalar(255, 255, 255), thickness, lineType);

    // 展示支持向量
    thickness = 2;
    lineType = 8;
    //CvSVM::get_support_vector_count获取输出支持向量的数量
    int c = SVM.get_support_vector_count();

    for (int i = 0; i < c; ++i)
    {
        //根据支持向量索引来获取指定位置的支持向量
        const float* v = SVM.get_support_vector(i);
        circle(image, Point((int)v[0], (int)v[1]), 6, Scalar(128, 128, 128), thickness, lineType);
    }

    imwrite("result.png", image);        // save the image 

    imshow("SVM Simple Example", image); // show it to the user
    waitKey(0);

}