五 分类 其它分类技术5

5.5 支持向量机SVM

5.5.1 最大边缘超平面

结构风险最小化理论：给出了线性分类器边缘与其泛化误差之间关系的形式化解释

5.5.2 线性支持向量机：可分情况

1.线性决策边界wx+b=0
2.线性分类器的边缘
3.学习线性SVM模型

拉格朗日乘子法；KKT条件（支持向量）；对偶拉格朗日函数

5.5.3 线性支持向量机：不可分情况

软边缘，学习允许一定训练错误的决策边界
在优化问题的约束中引入正值的松弛变量

松弛变量提供了决策边界在训练样本P上的误差估计
惩罚松弛变量值很大的决策边界，修改后的目标函数如下：

5.5.4 非线性支持向量机

关键在于将数据从原先的坐标空间变换到一个新的坐标空间，从而可以在变换后的空间中找到一个线性的决策边界划分样本。
1.属性变换

问题：如何找到合适的映射函数
2.学习非线性SVM模型
非线性SVM的学习任务和线性SVM很相似，主要区别在于学习任务是在变换属性后的属性上执行，而不是在原属性上执行。
问题：运算麻烦，导致维灾难，解决方法核技术
3.核技术
点积可以作为度量两个输入向量之间的相似度。
核技术是一种使用原属性集计算变换后空间中的相似度的方法，变换后空间中的点积可以用原空间中的相似度函数表示，这个相似度函数K称为核函数。
SVM核的变换后空间也称为再生核希尔伯特空间

4.Mercer定理

5.5.5 支持向量机的特征