第六章 支持向量机

第六章 支持向量机

 分类学习 最基本的想法就是 基于训练集D在样本空间中找到一个划分超平面、将不同类别的样本分开。

"支持向量"：距离超平面最近的训练样本点使下联式的等号成立。

 

"间隔"：两个异类支持向量到超平面的距离之和；

对偶问题： 对支持向量机(简称SVM)使用拉格朗日乘子法可得到其对偶问题

 

核函数

       在现实任务中，原始样本空间内也许并不存在一个能正确划分两类样本的超平面，对于不是线性可分这样的问题， 可将样本从原始空间映射到-个更高维的特征空间，使得样本在这个特征空间内线性可分.

 

设想这样一个函数：即任意两个样本在特征空间的内积等于它们在原始样本空间中通过 核函数 计算的结果.

"支持向量展式"：最优解可通过训练样本的核函数展开得到的展式；

核函数直接决定了支持向量机与核方法的最终性能；遗憾的是，核函数的选择是一个未决问题.

 

软间隔与正则化

软间隔：允许支持向量机在一些样本上出错；

硬间隔：所有样本都必须划分正确；

 

支持向量回归

对样本(x,y)，

传统回归模型：通常直接基于模型输出f(x) 与真实输出y之间的差别来计算损失，当且仅当f(x) 与y完全相同时，损失才为零.

支持向量回归(SVR)：仅当f(x)与y之间的差别绝对值大于一定的偏差时才计算损失.

 

核方法

基于核函数的学习方法统称为"核方法"；最常见的，是通过"核化" (即引入核函数)来将线性学习器拓展为非线性学习器。

通过核化来对 线性判别分析 进行非线性拓展， 从而得到"核线性判别分析"（简称KLDA）

 

支持向量机的求解通常是借助于凸优化技术，如何提高效率，使SVM 能适用于大规模数据一直是研究重点；

支持向量机是针对工分类任务设计的，对多分类任务要进行专门的推广

SVM涉及到求解二次规划，在大规模数据的训练时会产生很大的开销，为此常会引入一些高效算法来应对，如采用SOM来加速二次优化问题求解；