机器学习（周志华）读书笔记---第6章 支持向量机

6.1 间隔与支持向量
超平面：决策平面
支持向量：距离超平面最近得几个训练样本
最大化间隔，SVM（支持向量机）的基本型：

6.2 对偶问题
通过拉格朗日乘子法得到对偶问题：

拉格朗日乘子法需满足KKT条件
支持向量机解的稀疏性：训练完成后，大部分的训练样本都不需保留，最终模型仅与支持向量有关。
没用公式求解b，利用支持向量去求解

最终解：

求解拉格朗日乘子（SMO算法）：

6.3 核函数
若不存在一个能正确划分两类样本的超平面，将样本从原始空间映射到一个更高维的特征空间，使样本在这个特征空间线性可分

由于计算内积比较困难，引入核函数：

若一个对称函数所对应的核矩阵半正定，则它就能作为核函数来使用，核函数选择成为决定支持向量机性能的关键

6.4 软间隔与正则化
现实中很难确定合适的核函数。使得训练样本在特征空间中线性可分，即使貌似线性可分，也很难断定是否是因过拟合造成的（硬间隔）所以引入软间隔（允许在一些样本上不满足约束）


SVM另一种解释-0/1损失函数
O/1损失函数非凸，非连续。不易优化，选用替代损失，一般是01损失函数的上界
正则化：

第一项为正则化项

6.5 支持向量回归（SVR）
基本思路：允许模型输出与实际输出之间存在2E的差别


6.6 核方法

核方法：
基于表示定理能得到很多线性模型的核化版本