西瓜书理解之支持向量机

西瓜书6.1节的理解。

6.1节描述的问题是线性可分的问题，如果用支持向量机来解决，只需要最大化分类间隔即可，分类间隔仅与离超平面距离为1的点有关系，这些点的向量称之为支持向量机，分类间隔越大，分类效果越好。

重要概念理解：

超平面：可以理解为一维空间中的点，二维空间中的线，三维空间中的平面的扩展，分类的决策边界。

支持向量：离分割超平面最近的那些点

向量到超平面距离公式的推导。

分类间隔的推导。

最大化分类间隔的理解：将分类的误差降到最低。

 

补充知识：向量积，平面公式，点到平面的距离。

西瓜书6.2节的理解

6.2节讲了对偶问题，引入对偶问题有两个目的：（1）利用拉格朗日函数的对偶性，将原始问题转化为对偶问题，通过对偶问题，求最优解，得到原始问题的最优解 （2）自然引入核函数，推广到非线性问题。

引入对偶问题之后，讲原先的最大化分类间隔问题转化为求对偶变量a的问题。

通过引入拉格朗日乘子，可将有d个变量与k个约束条件的最优化问题转化为具有d+k个变量的无约束优化问题求解。

 

 

西瓜6.3节的理解

核函数是为了解决基于对偶问题在处理低维线性不可分的优化方法。

 

西瓜书6.4节的理解

软间隔和正则化是为了解决支持向量机过拟合以及噪声影响的问题。

 

 

 

参考文献：《学习SVM的三重境界》

 

支持向量机优点： 泛华错误率低，计算开销不大，结果容易解释

缺点：对参数调节和核函数选择敏感，原始分类器不加修改仅适用于处理二分类问题

适用数据类型：数值型和标称型数据

 

SVM框架步骤：

（1）收集数据：可以用任意方法

（2）准备数据：需要数值型数据

（3）分析数据：有助于可视化分隔超平面

（4）训练算法：主要实现两个参数的调优

（5）测试算法：简单的计算过程就可以实现

（6）使用算法：几乎所有分类算法都可以用SVM