[机器学习笔记] 支持向量机SVM如何求解最佳模型？

资料来源：机器学习面试之有必要手推SVM吗？ https://www.jianshu.com/p/f4c7bc6c4ce2

在机器学习中，支持向量机SVM是监督学习模型，可以分析数据，识别模式，用于分类和回归分析。
支持向量机在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。

1. SVM的基本思想
最原始的支持向量机SVM是为了解决二类分类问题。假设样本线性可分，能找到一个超平面，对样本进行分类，恰好分为二类。

求解目标是找到图中的H3。那么，如何找到这个最佳分类超平面？

2. 寻找最佳分类超平面

2.1. 从数学上表示超平面将正负样本分开
一个超平面可以用如下的式子表示:

其中X是输入特征向量，w是权重向量，b是偏置，y是输出。
一个样本点P(xi,yi) 到超平面的几何距离(注意:这里是距离而非间隔)为:
几何距离 =
其中w是超平面的法向量。
若该超平面能将正负样本分开，也就是正负样本完全被超平面隔离开，该情况从数学的角度看，就等同于:
对任一个样本P(xi,yi)，都有：