好吃的西瓜——第六章

支持向量机（Support Vector Machine），简称SVM，是一种经典的二分类模型，属于监督学习算法。

• 6.1节：介绍了支持向量机的目标是确定一个对样本的分类结果最鲁棒的线性分类器，即找到一个具有最大间隔的划分超平面。为此以间隔为优化目标，可将其转化为一个凸二次规划问题。
• 6.2节：对于6.1节求出的凸二次规划问题，采用拉格朗日乘子法可得到其对偶问题。由于该对偶问题又为二次规划问题，文中采用了SMO算法对其进行求解。
• 6.3节：前两节是在样本在其原始样本空间线性可分的假设下进行讨论的，该节针对原始样本空间线性不可分的问题，基于有限维原始样本空间一定存在一个高维特征空间使样本线性可分这一定理，引出了原始空间和特征空间的桥梁——核函数的相关概念，并强调核函数的选择是支持向量机的最大变数。
• 6.4节：前三节都是基于理论进行的推导，但在现实情况下我们很难确定合适的核函数对样本进行完美分类，故提出了软间隔的概念，允许有尽可能少的样本不满足约束条件。于是在前面的基础上，模型加入了对各个样本松弛变量的考量，并采用6.2节的方法进行求解。
• 6.5节：本节从分类问题转向了回归问题，介绍了相对于传统回归问题上对损失的严格定义，支持向量回归（SVR）则对模型输出和真实输出设有容许偏差，只有超过偏差才计算损失。凭此建立了SVR模型，并还是采用6.2节的方法进行求解。
• 6.6节：由前面的推导发现，SVM和SVR学得的模型总能表示成核函数的线性组合，并引出了表示定理，强调了该类型的优化问题的解总可表示为核函数的线性组合，并以线性判别分析（LDA）为例向我们演示了如何通过引入核函数（核化）进行非线性拓展。

1 间隔与支持向量

对于二分类问题，其基本思想就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。
但仅仅是将样本分开的话，那么我们可能可以找到许多个划分超平面。如图6.1所示，从几何意义易知，粗线对训练样本局部的扰动的“容忍性”最好（其他的超平面训练样本很容易越界，考虑到噪声等因素，其分类结果很不稳定），也是最鲁棒的。于是粗线也就是我们想要的最优划分超平面