统计学习方法学习笔记（第七章 支持向量机）

支持向量机是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它称为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化。可以形式化为一个求解凸二次优化的问题，也等价于正则化的合页损失函数的最小化问题。支持向量机的学习算法是求解凸二次规划的最优化问题。

线性可分支持向量机，线性支持向量机假设两个空间的元素一一对应，并将输入空间中的输入映射为特征空间中的特征向量。非线性支持向量机利用一个从输入空间到特征空间的非线性映射将输入映射为特征向量。所以，输入都由输入空间转换到特征空间，支持向量机的学习是在特征空间进行的。

感知机利用误分类最小的策略，求得分离超平面，不过这时的解有无穷多个。线性可分支持向量机利用间隔最大化求最优分类平面，这时，解是唯一的。

函数间隔　yi*(wxi + b)

超平面关于样本点的几何间隔一般是实例点到超平面的带符号的距离，当样本点被超平面正确分类时就是实例点到超平面的距离。

支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。对线性可分的训练数据而言，线性可分分离超平面有无穷多个。但是几何间隔最大的分离超平面是唯一的。这里的间隔最大化又称为硬间隔最大化。

间隔最大化的直观解释是：对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类。也就是说，不仅将正负实例点分开。而且对最难分的实例点也有足够大的确信度将它们分开。这样的超平面应该对未知的新实例有很好的分类预测能力。

在线性可分情况下，训练数据集的样本点中与分离超平面距离最近的样本点的实例称为支持向量。

支持向量的个数一般很少，所以支持向量机由很少的“重要的”训练样本确定。

线性可分问题的支持向量机学习方法，对线性不可分训练数据是不适用的，因为这时上述方法中的不等式约束并不能都成立。这就需要修改硬间隔最大化，使其称为软间隔最大化。

合页损失函数（hinge loss function）

合页损失函数对学习有更高的要求。

用线性分类方法求解非线性分类问题分为两步：首先适用一个变换将原空间的数据映射到新空间；然后在新空间里用线性分类学习方法从训练数据中学习分类模型。核技巧就属于这种方法。

如何高效的实现支持向量机学习称为一个重要的问题，目前人们已经提出许多快速实现算法。

比如序列最小最优化（SMO算法。未完待续。。。。）