Support Vector Machines (SVM) 支持向量机

理解

1.分割：二维平面上存在两类点，有多条线可以分割两类点，哪条线最优？

2.最优：所有点到直线的距离中找到最小值，使这个最小值最大化的那条线。

（即所有点到线A的距离中找到最短距离AL,再有所有点到线B的距离中找到最短距离BL，AL和BL谁更长则更优。

假设平面上只有两个点，是不是刚好就是两个点正中间且与两个点连线垂直的那条线呢？）

3.线性分割：就是用一条直线或一个平面可以进行分割。

4.非线性分割：比如画一个圆，圆里面的是一类，圆外面的是一类，也可以是曲线，多维的可以画个球或曲面。

5.求解：网上有很多的专业论述可能一时半会搞不清，咱们来个目测法：二维平面上有一堆红点和一堆黑点，找到距离最近的黑点和红点，取两点连线的中间点为a,画一条经过a点的直线适当旋转。或者找到距离次最近的红点和黑点，取两点连线的中间点为b点，连接a,b两点。不合适再找次次最近的。

实践

open cv上的一个例子

#include <opencv2/core.hpp>
#include <opencv2/imgproc.hpp>
#include "opencv2/imgcodecs.hpp"
#include <opencv2/highgui.hpp>
#include <opencv2/ml.hpp>

using namespace cv;
using namespace cv::ml;

int main(int, char**)
{
	int width = 512, height = 512;
	Mat image = Mat::zeros(height, width, CV_8UC3);

	int labels[4] = { 1, -1, -1, -1 };
	float trainingData[4][2] = { {501, 10}, {255, 10}, {501, 255}, {10, 501} };

	Mat trainingDataMat(4, 2, CV_32FC1, trainingData);
	Mat labelsMat(4, 1, CV_32SC1, labels);

	Ptr<SVM> svm = SVM::create(); 
	svm->setType(SVM::C_SVC);
	svm->setKernel(SVM::LINEAR);
	svm->setTermCriteria(TermCriteria(TermCriteria::MAX_ITER, 100, 1e-6));

	svm->train(trainingDataMat, ROW_SAMPLE, labelsMat);

	Vec3b green(0, 255, 0), blue(255, 0, 0);
	for (int i = 0; i < image.rows; ++i)
		for (int j = 0; j < image.cols; ++j)
		{
			Mat sampleMat = (Mat_<float>(1, 2) << j, i);
			float response = svm->predict(sampleMat);

			if (response == 1)
				image.at<Vec3b>(i, j) = green;
			else if (response == -1)
				image.at<Vec3b>(i, j) = blue;
		}


	int thickness = -1;
	int lineType = 8;
	circle(image, Point(501, 10), 5, Scalar(0, 0, 0), thickness, lineType);
	circle(image, Point(255, 10), 5, Scalar(255, 255, 255), thickness, lineType);
	circle(image, Point(501, 255), 5, Scalar(255, 255, 255), thickness, lineType);
	circle(image, Point(10, 501), 5, Scalar(255, 255, 255), thickness, lineType);

	thickness = 2;
	lineType = 8;
	Mat sv = svm->getUncompressedSupportVectors();

	for (int i = 0; i < sv.rows; ++i)
	{
		const float* v = sv.ptr<float>(i);
		circle(image, Point((int)v[0], (int)v[1]), 6, Scalar(128, 128, 128), thickness, lineType);
	}

	imshow("SVM Simple Example", image); // show it to the user
	waitKey(0);

}

参考https://docs.opencv.org/master/d1/d73/tutorial_introduction_to_svm.html