SVM 简介和使用

简介

Support Vector Machines（SVM）是由分离超平面正式定义的鉴别分类器。
如何计算最佳超平面？
我们来介绍用于定义超平面的符号：

SVM简介

其中β被称为权重向量，而β0称为偏差。

也可以看看
这和超平面更深入的描述，你可以在4.5节（发现分隔条件超平面书的）：统计学习的要素通过 T. Hastie, R. Tibshirani和JH Friedman（[172]）。
通过缩放β和可以以无限数量的不同方式表示最优超平面β0。作为惯例，在超平面的所有可能的表示中，选择的是

SVM

其中X表示最接近超平面的训练样本。通常，最接近超平面的训练样本称为支持向量。这种表示被称为规范超平面。

现在，我们使用几何的结果给出点X和超平面之间的距离（β，β0）：

SVM

特别地，对于规范超平面，分子等于1，并且到支持向量的距离为

SVM

回想一下，上一节中介绍的the margin（这里表示为M）是距离最接近的例子的两倍：

SVM简介

最后，m最大化问题等价于一个函数L（β）在某些约束条件下的极小化问题。约束模型对超平面的要求正确分类所有训练样本。从形式上看，

SVM简介

其中yi 表示训练样本的每个标签。

这是拉格朗日优化的问题，可以使用拉格朗日乘数来求解最优超平面的权重向量β和偏置β0。

opencv 中使用

        // Data for visual representation
        int width = 512, height = 512;
        Mat image = Mat::zeros(height, width, CV_8UC3);
        // Set up training data
        int labels[4] = {-1, 1, -1, -1};
        float trainingData[4][2] = { {501, 10}, {255, 10}, {501, 255}, {10, 501} };
        Mat trainingDataMat(4, 2, CV_32FC1, trainingData);
        Mat labelsMat(4, 1, CV_32SC1, labels);
        // Train the SVM
        Ptr<SVM> svm = SVM::create();
        svm->setType(SVM::C_SVC);
        svm->setKernel(SVM::LINEAR);
        svm->setTermCriteria(TermCriteria(TermCriteria::MAX_ITER, 100, 1e-6));
        svm->train(trainingDataMat, ROW_SAMPLE, labelsMat);
        // Show the decision regions given by the SVM
        Vec3b green(0,255,0), mRed (255, 0, 0);
        for (int i = 0; i < image.rows; ++i)
            for (int j = 0; j < image.cols; ++j)
            {
                Mat sampleMat = (Mat_<float>(1,2) << j,i);//训练数据坐标
                float response = svm->predict(sampleMat);
                if (response == 1)
                    image.at<Vec3b>(i,j)  = green;
                else if (response == -1)
                    image.at<Vec3b>(i,j)  = mRed;
            }
        // Show the training data
        int thickness = -1;
        int lineType = 8;
        circle( image, Point(501,  10), 5, Scalar(  0,   0,   0), thickness, lineType );
        circle( image, Point(255,  10), 5, Scalar(255, 255, 255), thickness, lineType );
        circle( image, Point(501, 255), 5, Scalar(255, 255, 255), thickness, lineType );
        circle( image, Point( 10, 501), 5, Scalar(255, 255, 255), thickness, lineType );
        // Show support vectors
        thickness = 2;
        lineType  = 8;
        Mat sv = svm->getUncompressedSupportVectors();
        LOGI("jason %d", sv.rows);
        for (int i = 0; i < sv.rows; ++i)
        {
            const float* v = sv.ptr<float>(i);
            circle( image,  Point( (int) v[0], (int) v[1]),   6,  Scalar(128, 128, 128), thickness, lineType);
        }

效果