西瓜书6.1节的理解。
6.1节描述的问题是线性可分的问题,如果用支持向量机来解决,只需要最大化分类间隔即可,分类间隔仅与离超平面距离为1的点有关系,这些点的向量称之为支持向量机,分类间隔越大,分类效果越好。
重要概念理解:
超平面:可以理解为一维空间中的点,二维空间中的线,三维空间中的平面的扩展,分类的决策边界。
支持向量:离分割超平面最近的那些点
向量到超平面距离公式的推导。
分类间隔的推导。
最大化分类间隔的理解:将分类的误差降到最低。
补充知识:向量积,平面公式,点到平面的距离。
西瓜书6.2节的理解
6.2节讲了对偶问题,引入对偶问题有两个目的:(1)利用拉格朗日函数的对偶性,将原始问题转化为对偶问题,通过对偶问题,求最优解,得到原始问题的最优解 (2)自然引入核函数,推广到非线性问题。
引入对偶问题之后,讲原先的最大化分类间隔问题转化为求对偶变量a的问题。
通过引入拉格朗日乘子,可将有d个变量与k个约束条件的最优化问题转化为具有d+k个变量的无约束优化问题求解。
西瓜6.3节的理解
核函数是为了解决基于对偶问题在处理低维线性不可分的优化方法。
西瓜书6.4节的理解
软间隔和正则化是为了解决支持向量机过拟合以及噪声影响的问题。
参考文献:《学习SVM的三重境界》
支持向量机优点: 泛华错误率低,计算开销不大,结果容易解释
缺点:对参数调节和核函数选择敏感,原始分类器不加修改仅适用于处理二分类问题
适用数据类型:数值型和标称型数据
SVM框架步骤:
(1)收集数据:可以用任意方法
(2)准备数据:需要数值型数据
(3)分析数据:有助于可视化分隔超平面
(4)训练算法:主要实现两个参数的调优
(5)测试算法:简单的计算过程就可以实现
(6)使用算法:几乎所有分类算法都可以用SVM