机器学习：西瓜书 支持向量机 学习笔记

间隔与支持向量

超平面对样本的划分：分类问题的本质可以归纳为，在一个样本空间中确定一个超平面，该超平面将样本点分为两部分。直观上，应该选择正好位于两类训练样本“正中间”的超平面，因为这个超平面所产生的分类结果是最鲁棒性的，具有最强的泛化能力。
支持向量与间隔的定义：距离超平面最近的几个训练样本点所对应的特征向量称为支持向量，两个不同类的支持向量到超平面的距离之和称为间隔。当超平面的系数确定后，间隔的大小也就确定了。
超平面的选择与间隔的关系：想要寻找的最合适超平面就是具有“最大间隔”的超平面，这样的超平面对应一组平面参数。这就是支持向量机SVM的基本型。

对偶问题

支持向量机的性质：支持向量机训练完成后，大部分的训练样本都不需要保留，最终的模型只与支持向量有关。支持向量机求解过程的复杂度主要也与支持向量的数目有关。
支持向量机模型的求解：支持向量机模型可以使用二次规划算法求解，但是效率较低，因此一般使用SMO算法求解，该算法效率较高。

核函数

超平面存在的问题与解决方案：现实任务中的一些问题，原始样本空间不存在一个能够正确划分两类样本的超平面。因此，可以把样本从原始数据库及映射到一个更高维度的特征空间，使得样本在这个特征空间内线性可分。可以证明，如果原始空间维度有限，那么一定存在一个高维特征空间使得样本可分。
核函数的定义：由于高维特征空间计算非常困难，因此可以假设两个样本对应的特征向量在高维空间中的内积等于它们在原始样本空间中通过某个函数计算得到的结果，这个函数就称为核函数。核函数可以简化计算过程，并且模型的最优解可以通过训练样本的核函数展开，展开式称为“支持向量展式”。任何一个核函数都隐式定义了一个称为“再生核希尔伯特空间”的特征空间。
核函数判定定理：只要一个对称函数所对应的核矩阵半正定，它就能作为核函数使用。
向量机的影响要素：特征空间的好坏对向量机的性能至关重要，而核函数又隐式定义了这个特征空间，因此核函数的选择称为支持向量机的最大变数。核函数选择不当可能导致模型的最终效果不佳。
常用的核函数：常用的核函数包括线性核函数、多项式核函数、高斯核函数、拉普拉斯核函数核Sigmoid核函数等。选取核函数时有一些参考经验，如对文本数据常常使用线性核函数，情况不明时首先尝试高斯核函数。
核函数的组合：核函数的线性组合、直积核其他一些运算得到的也是核函数。

软间隔与正则化

软间隔的引入背景：在现实任务中很难确定合适的核函数使得训练样本在特征空间中线性可分；即使找到了某个核函数使得训练集在特征空间中线性可分，也很难判断这个结果是否是由于过拟合导致。缓解这个问题的方法是允许支持向量机在一些样本上出错，为此引入了软间隔的概念。
软间隔的具体思想：尽管一些样本可以出错，但是要在尽可能满足最大化间隔的同时使得不满足约束的样本数尽可能少，因此目标函数中加入了替代损失项，常用的替代损失包括hinge损失、指数损失和对率损失。引入了软间隔的向量机称为“软间隔支持向量机”。软间隔支持向量机的最终模型也只核支持向量有关。
松弛向量的作用：松弛向量用于表征样本不满足约束的程度，每一个样本都有一个对应的松弛向量。
支持向量机与对率回归模型的比较：支持向量机与对率回归模型的优化目标接近，一般情况下性能也相当。对率回归模型的优势在于其输出具有自然的概率意义，但是支持向量机想要得到概率输出需要进行额外处理；同时，对率回归模型可以直接用于多分类任务，但是支持向量机需要进行推广才能用于多分类。但是，对率回归模型的解依赖于更多的训练样本，其预测开销更大。
正则化的理解：正则化可以理解为在目标函数后方加入“罚函数”，即对不希望得到的结果进行惩罚，从而使得优化过程趋于得到希望目标。

支持向量回归

支持向量回归与传统回归的区别：支持向量回归假设我们能够容忍一定的偏差，也就是当分类差距大于一定大小才开始计算损失。
支持向量回归与解的稀疏性：支持向量回归模型中的支持向量仅是支持向量的一部分，得到的解仍然具有稀疏性的优点。

核方法

核表示定理的理解：对于一般的损失函数和正则化项，优化问题的最优解都可以表示为核函数的线性组合的形式。
核方法的定义：人们发展出的一系列基于核函数的学习方法统称为核方法。最常见的是通过引入核函数（这个过程也称为“核化”）将线性学习器拓展为非线性学习器。例如可以使用核方法将线性判别分析拓展为非线性判别分析。