6.1间隔与支持向量
找两类样本中间的超平面,这样的超平面对训练样本的容忍性最好。
模型:线性。
策略:最小化两类样本的距离。
算法:求导。
6.3核函数
二维空间可能解决不了所有的问题,如异或问题,这就要求将原始空间映射到一个高纬度空间。
6.4软间隔与正则化
以上的问题是,现实生活中很难找到合适的核函数,就算找到了,也有可能是过拟合。
缓解该问题的一个办法是允许支持向量机在一些样本上出错。由此引入了软间隔的概念。当然在最大化间隔的同时,不满足约束的应该尽量少。
6.5支持向量机回归SVR
传统回归模型是基于模型输出和真是输出之间的差别来计算损失,与此不同,支持向量回归假设我们能容忍此差别最多有e的误差,所以这样的回归线很“粗”。