吃瓜笔记--西瓜书第六章支持向量机

第六章 支持向量机

6.1 间隔与支持向量

算法原理
从几何角度，对于线性可分的数据集，支持向量机就是找距离正负样本都最远的超平面，相比于感知机，其解是唯一的，且泛化性更好。
感知机解不唯一，把正负样本分开即为最优解。感知机求得的超平面很有可能距离正样本很近或距离负样本很近，泛化性能不好。

超平面

几何间隔

支持向量机
要找到具有最大间隔的划分超平面，可以转化为带约束条件的优化问题。

也即

支持向量机通常采用拉格朗日对偶来求解。

6.2 对偶问题



KKT条件

原优化问题

6.3 核函数

在现实任务中，原始样本空间内也许并不存在一个能正确划分两类样本的超平面。对这样的问题，可以将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。如果原始空间是有限维空间，即属性数有限，则一定存在一个高维特征空间使样本可分。

6.4 软间隔与正则化

算法原理
在现实任务中，线性不可分的情形才是最常见的，因此需要允许支持向量机犯错。（异常样本）

软间隔

优化目标+损失（约束条件）

6.5 支持向量回归（SVR）

一条线拟合（线性回归） --> 间隔带拟合（SVR)