深度学习4-SVM

SVM和KNN分类的对比

KNN

KNN分类问题：一定距离内那类点多，就归为哪一类

​

 

SVM

SVM分类问题，找决策边界，把数据进行划分

​

 

SVM分类的原理

支持向量积

将两组数据划分开，怎么样的决策边界才会更好
支持向量积

​
支持向量
寻找支持向量
选出最好的决策边界

 

1.距离计算（点到平面的距离）

​

点现在知道了，但面其实是不知道的，需要进行假设。
用到了向量和法向量的知识。

2.目标函数

目的：找到一条线，使得离该线最近的点能够最远

 放缩变换和优化目标

目标函数能够体现SVM的基本定义

3.部分数学原理

 3.1拉格朗日乘子法

3.1.1在约束条件下求极值的问题

约束条件中可能不仅仅包含一个变量，能不能把约束条件看成一个整体？（引入新的参数，但参数和其中的变量是用关系的） 

   

 3.1.2引入新的参数a1（原本的参数是w、b）

  

3.1.3求偏导，为了求极值 

  

简化最终目标函数

 w、b通过相关关系，全部转化为a相关的参数，方便进行求解 

  

极大值问题转化为极小值问题

  

4.软间隔优化

 考虑一些异常的噪音，让分类更合理。（引入松弛因子） 

  

目标函数的变化，及c的引入（能够提现容错能力）

  

5.核函数（分类好的关键）

 升维，二维的变成三维的，可能能够很好的用平面分开 

  

升维效果展示