西瓜书 第六章 支持向量机

6.1间隔与支持向量

找两类样本中间的超平面，这样的超平面对训练样本的容忍性最好。

模型：线性。

策略：最小化两类样本的距离。

算法：求导。

6.3核函数

二维空间可能解决不了所有的问题，如异或问题，这就要求将原始空间映射到一个高纬度空间。

6.4软间隔与正则化

以上的问题是，现实生活中很难找到合适的核函数，就算找到了，也有可能是过拟合。

缓解该问题的一个办法是允许支持向量机在一些样本上出错。由此引入了软间隔的概念。当然在最大化间隔的同时，不满足约束的应该尽量少。

6.5支持向量机回归SVR

传统回归模型是基于模型输出和真是输出之间的差别来计算损失，与此不同，支持向量回归假设我们能容忍此差别最多有e的误差，所以这样的回归线很“粗”。