SVM原理及推导过程

SVM简介

SVM核心是最优化方法（带约束条件，拉格朗日乘子法），思想是max（min），即最大化最小间隔（找到最小间隔的点，即支持向量），目标就是求解参数alpha、w、b，确定超平面，然后就能正常的二分类（和逻辑回归类似）；其中最著名的实现方法是SMO或Platt SMO；确定目标函数，严格推导发现，最终只和所有点的向量内积有关；和kNN对比，只需保留少量样本，占用内存小；

（经典MIT课程 https://www.youtube.com/watch?v=_PwhiWxHK8o ）核函数是对于无法直接二分类进行的函数转换，使得可以二分类（用曲线或曲面代替直线或超平面）；可以把核函数看成包装器或接口，在高维空间解决线性问题，等价于在低维空间解决非线性问题；把‘内积’替换成‘核函数’叫做核技巧；径向基核函数（高斯版本）以及多项式核函数是常见的核函数；
（吴恩达SVM使用了对偶方法求解，即max(min)变为min(max)，也提到kkt，最后求出w和b的公式，也是内积的线性和）
（任何线性分类器，若能写成内积的形式，都能用核函数替换它，如逻辑回归等）
（核函数其实是一种求相似度的函数，把两个向量变为一个标量，即相似