机器学习系列之支持向量机

这是一个介绍比较全面、易懂的文章，作者七月在线。https://blog.csdn.net/v_july_v/article/details/7624837

SVM整个流程：本质是个分类方法

1. 构造w^T + b 分类函数，然后目标是求解w、b

2.寻求最大间隔，引出目标函数：1/2||w||^2，约束条件yi(w^Txi + b)>=1

3.引入拉格朗日因子，将目标函数、约束条件构成一个函数

4.对拉格朗日因子求解，从而得出w、b的解

5.利用快速学习算法SMO求解对偶问题

SVM分为线性可分及线性不可分的情况：可以将线性不可分的低维空间数据，映射到高维空间，从而达到可分的目的。

但从低维空间映射到高维空间，会是的维数爆炸，难以计算。

所以核函数应运而生。核函数可以实现，在低维空间完成计算，然后在映射到高维空间，大大减少了计算量。

并且，在松弛变量的作用下，加入核函数后，构成了既能够处理线性和非线性并能容忍噪音和 outliers 松弛变量的支持向量机。

常见的核函数包括：多项式核函数、高斯核函数、线性核函数