SVM简介&sklearn中的应用

1.支持向量机SVM本身是做线性分类的算法，也可以做非线性的分类（升维）对感知机算法模型的扩展。

感知器要求数据集是线性可分的

2.在高维空间找到m个样本作为支持向量，支撑起一个超平面，这个超平面就是分界。

3.逻辑回归本质也是线性的分类器，但是它可以做非线性的分类（升维）。

4.在集成学习前，SVM是分类领域比较流行的算法。

5.感知器判别式

感知器是x与模型θ相乘，如果大于0，即归为正类，如果小于0，就归为负类，这样就没有概率意义，感知器是期望使分类错误的所有样本到超平面的距离之和最小，对于感知器的算法来说就是把分错的样本求出来，将所有分错的样本到超平面的距离求出来尽可能小。

逻辑回归是x与模型θ相乘后在经过sigmoid函数将结果映射到0-1之间的概率，这样概率就可以相乘通过最大似然估计求的损失函数。

6.几何距离和函数距离

几何距离就是一个公式求得点到平面的距离

 （对于分类正确的点，γ必然是大于等于零的）

函数距离是比较两个点的相对距离（SVM用的是函数距离）

7.  

SVM和感知机相同的点

也是通过寻找超平面解决二分类问题的算法

一侧的点计算分数是负例，另一侧的点结果分数是正例

SVM和感知机不同的点

感知机通过判断错的点寻找超平面，逻辑回归是通过最大似然寻找超平面，SVM是通过支持向量寻找超平面

感知机和逻辑回归都是通过最小化损失函数得到θ，SVM有两种一种是最小化损失函数（合页损失），另一种是寻找支持向量

8.SVM思想

找到离超平面最近的点到超平面的距离越远越好，SVM尝试找到一个决策边界，在分对的前提下距离两个类别最近的样本最远（这是有约束条件的一个二次优化问题），通过离超平面最近的点越远越好最终确定的超平面的泛化能力最好。

离超平面最近的点就是支撑向量。