SVM的思想

SVM是一个二元分类算法，线性分类和非线性分类都支持，经过演化，也可以支持多元分类问题和回归问题。

1、感知机

感知机模型就是尝试找到一条直线，能够将二元数据隔开，在三维或者更高维中，感知机模型就是尝试找到一个超平面，将所有的二元类别都隔离开。对于这个分离的超平面（直线），我们定义，在其上方定义y=1,左下方定义为y=-1.满足这样的条件的超平面不止一个，我们要找到泛化能力最强的那个。

SVM的核心思想是：尽最大努力是两个类别有最大间隔，这样才能使分隔具有更高的可信度，并且对于未知的新样本也具很好的 分类预测能力，即泛化能力。

SVM的办法是：让离分割面最近的数据点离分割面有最大的距离。而离分隔面最近的点也叫作支持向量，即为虚线穿过的样本点。

优化思想：让所有错误分类的点（定义为M）到超平面的距离之和最小，即最小化以下公式：

支持向量中有一个概念叫做“分类间隔”，分类间隔的计算涉及到 点到直线的距离：

点到直线距离公式：    （1）

那么对于所有的样本点都要满足下列条件：

   （2）

只有当是决策面所对应的支持向量时，等于1或者-1的情况才会出现。所以对于这些支持向量的样本点有：

      （3）

上式表示，支持向量样本点到决策面方程的距离就是1/||w||。我们本来的任务就是找到一组参数，w,使得分类间隔w=2d最大化，也就是说使得||w||最小化问题，等价于的最小化问题。加上平方是为了在优化目标函数的过程中求导比较方便，这对最后的最优求解不产生任何影响。

另外将公式（2）的约束条件变形，将类别标签和两个不等式左乘，形成一个统一描述：

则SVM的最优化问题的数学描述如下：

s.t表示服从于xx条件。

2、SVM求解

上面的优化问题是一个具有多个不等式约束条件的优化问题，其拉格朗日函数可以写成：

这里  ，  。该拉格朗日函数最优化的原始问题和对偶问题分别为：

原始问题：  

对偶问题： 

后面没看懂。。。。。。。大家可以看这个博客。。。。

https://blog.csdn.net/baidu_36557924/article/details/79517365