《数据挖掘（完整版）》笔记——支持向量机

1. 最大边缘超平面

具有较大边缘的决策边界比那些具有较小边缘的决策边界具有更好的泛化误差。直觉上，如果边缘比较小，决策边界任何轻微的扰动都可能对分类产生显著的影响，因此，那些决策边界边缘较小的分类器对模型的过拟合更加敏感，从而在位置的样本上的泛化能力很差

统计学习理论给出了线性分类器边缘与其泛化误差之间关系的形式化解释，我们称这种理论为结构风险最小化（SMR）理论

该理论根据分类器的训练误差$R_e$，训练样本数$N$和模型复杂度$h$（即它的能力），给出了分类器的泛化误差的一个上界$R$，具体的说，在概率$1-\eta$下，分类器的泛化误差在最坏情况下满足

$R⩽R_e+\phi (\frac{h}{N},\frac{log(\eta )}{N})$

$\phi$是$h$的单调函数

SMR体现了训练误差和模型复杂度之间的折中

线性模型的能力与它的边缘逆相关。具有较小边缘的模型具有较高的能力，因为与具有较大边缘的模型不同，具有较小边缘的模型更灵活、能拟合更多的训练集。然而，根据SRM原理，随着能力增加，泛化误差的上界也随之提高。因此，需要设计最大化决策边界的边缘的线性分类器，以确保最坏情况下的泛化误差最小，SVM就是这样的分类器

2. Mercer定理

对于非线性SVM的核函数主要的要求是，必须存在一个相应的变换，使得计算一对向量的核函数等价于在变换后的空间中计算这对向量的点积。这个要求可以用Mercer定理形式化地陈述

Mercer定理 核函数$\mathcal{K}$可以表示为：

$\mathcal{K}(\mathbf{u},\mathbf{v})=\mathbf{\Phi }(\mathbf{u})\cdot \mathbf{\Phi }(\mathbf{v})$

当且仅当对于任意满足$\int g(x{)}^{2}dx$为有限值的函数$g(x)$，则

$\int \mathcal{K}(x,y)g(x)g(y)dxdy⩾0$

满足Mercer定理的核函数称为正定核函数

3. SVM的特征

• SVM学习问题可以表示为凸优化问题，因此可以利用已知的有效算法发现目标函数的全局最小值
• 通过对数据中每个分类属性值引入一个哑变量，SVM可以应用于分类数据