Opencv机器学习---支持向量机介绍

最新推荐文章于 2024-09-14 12:49:20 发布

铿锵的玫瑰

最新推荐文章于 2024-09-14 12:49:20 发布

阅读量345

点赞数

分类专栏： OpenCV教程

本文链接：https://blog.csdn.net/LYKymy/article/details/83514405

版权

OpenCV教程专栏收录该内容

86 篇文章 7 订阅

订阅专栏

什么是向量机

支持向量机 (SVM) 是一个类分类器，正式的定义是一个能够将不同类样本在样本空间分隔的超平面。换句话说，给定一些标记(label)好的训练样本 (监督式学习), SVM算法输出一个最优化的分隔超平面。

假设给定一些分属于两类的2维点，这些点可以通过直线分割，我们要找到一条最优的分割线.

在上面的图中，你可以直觉的观察到有多种可能的直线可以将样本分开。那是不是某条直线比其他的更加合适呢? 我们可以凭直觉来定义一条评价直线好坏的标准:

距离样本太近的直线不是最优的，因为这样的直线对噪声敏感度高，泛化性较差。因此我们的目标是找到一条直线，离所有点的距离最远。

由此， SVM算法的实质是找出一个能够将某个值最大化的超平面，这个值就是超平面离所有训练样本的最小距离。这个最小距离用SVM术语来说叫做 间隔(margin) 。概括一下，最优分割超平面 最大化 训练数据的间隔。

如何计算最优超平面

下面的公式定义了超平面的表达式:

$\beta$ 叫做 权重向量 ， $\beta_{0}$ 叫做 偏置(bias) 。

最优超平面可以有无数种表达方式，即通过任意的缩放 $\beta$ 和 $\beta_{0}$ 。习惯上我们使用以下方式来表达最优超平面

式中表示离超平面最近的那些点。这些点被称为 支持向量。该超平面也称为 canonical 超平面。

特别的，对于canonical超平面，表达式中的分子为1，因此支持向量到canonical超平面的距离是

刚才我们介绍了间隔(margin),这里表示为 , 它的取值是最近距离的2倍:

最后最大化转化为在附加限制条件下最小化函数 $L(\beta)$ 。限制条件隐含超平面将所有训练样本 $x_{i}$ 正确分类的条件

式中 $y_{i}$ 表示样本的类别标记。

#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/ml/ml.hpp>

using namespace cv;

int main()
{
    // Data for visual representation
    int width = 512, height = 512;
    Mat image = Mat::zeros(height, width, CV_8UC3);

    // Set up training data
    float labels[4] = {1.0, -1.0, -1.0, -1.0};
    Mat labelsMat(3, 1, CV_32FC1, labels);

    float trainingData[4][2] = { {501, 10}, {255, 10}, {501, 255}, {10, 501} };
    Mat trainingDataMat(3, 2, CV_32FC1, trainingData);

    // Set up SVM's parameters
    CvSVMParams params;
    params.svm_type    = CvSVM::C_SVC;
    params.kernel_type = CvSVM::LINEAR;
    params.term_crit   = cvTermCriteria(CV_TERMCRIT_ITER, 100, 1e-6);

    // Train the SVM
    CvSVM SVM;
    SVM.train(trainingDataMat, labelsMat, Mat(), Mat(), params);
    
    Vec3b green(0,255,0), blue (255,0,0);
    // Show the decision regions given by the SVM
    for (int i = 0; i < image.rows; ++i)
        for (int j = 0; j < image.cols; ++j)
        {
            Mat sampleMat = (Mat_<float>(1,2) << i,j);
            float response = SVM.predict(sampleMat);

            if (response == 1)
                image.at<Vec3b>(j, i)  = green;
            else if (response == -1) 
                 image.at<Vec3b>(j, i)  = blue;
        }

    // Show the training data
    int thickness = -1;
    int lineType = 8;
    circle( image, Point(501,  10), 5, Scalar(  0,   0,   0), thickness, lineType);
    circle( image, Point(255,  10), 5, Scalar(255, 255, 255), thickness, lineType);
    circle( image, Point(501, 255), 5, Scalar(255, 255, 255), thickness, lineType);
    circle( image, Point( 10, 501), 5, Scalar(255, 255, 255), thickness, lineType);

    // Show support vectors
    thickness = 2;
    lineType  = 8;
    int c     = SVM.get_support_vector_count();

    for (int i = 0; i < c; ++i)
    {
        const float* v = SVM.get_support_vector(i);
        circle( image,  Point( (int) v[0], (int) v[1]),   6,  Scalar(128, 128, 128), thickness, lineType);
    }

    imwrite("result.png", image);        // save the image 

    imshow("SVM Simple Example", image); // show it to the user
    waitKey(0);

}

解释

建立训练样本

本例中的训练样本由分属于两个类别的2维点组成，其中一类包含一个样本点，另一类包含三个点。

函数 CvSVM::train 要求训练数据储存于float类型的 Mat 结构中，因此我们定义了以下矩阵:

设置SVM参数

我们以可线性分割的分属两类的训练样本简单讲解了SVM的基本原理。然而，SVM的实际应用情形可能复杂得多 (比如非线性分割数据问题，SVM核函数的选择问题等等)。总而言之，我们需要在训练之前对SVM做一些参数设定。这些参数保存在类 CvSVMParams 中。

SVM类型. 这里我们选择了 CvSVM::C_SVC 类型，该类型可以用于n-类分类问题 (n $\geq$ 2)。这个参数定义在 CvSVMParams.svm_type属性中.

CvSVM::C_SVC 类型的重要特征是它可以处理非完美分类的问题 (及训练数据不可以完全的线性分割)。在本例中这一特征的意义并不大，因为我们的数据是可以线性分割的，我们这里选择它是因为它是最常被使用的SVM类型。
SVM 核类型. 我们没有讨论核函数，因为对于本例的样本，核函数的讨论没有必要。然而，有必要简单说一下核函数背后的主要思想，核函数的目的是为了将训练样本映射到更有利于可线性分割的样本集。映射的结果是增加了样本向量的维度，这一过程通过核函数完成。此处我们选择的核函数类型是 CvSVM::LINEAR 表示不需要进行映射。该参数由 CvSVMParams.kernel_type 属性定义。
算法终止条件. SVM训练的过程就是一个通过迭代方式解决约束条件下的二次优化问题，这里我们指定一个最大迭代次数和容许误差，以允许算法在适当的条件下停止计算。该参数定义在 cvTermCriteria 结构中。