吃瓜教程第六章学习笔记

一、支持向量机

算法原理

从几何角度，对于线性可分数据集，支持向量机就是找距离正负样本都最远的超平面，向比于感知机，其解是唯一的，且不偏不倚，泛化性能更好。

几何间隔

正确分类时，几何间隔等价于点到超平面的距离，没有正确分类时为相反数。

支持向量机

给定线性可分数据集X，支持向量机模型希望求得数据集X关于超平面的集合间隔达到最大的那个超平面，然后套上一个sign函数实现分类功能。

拉格朗日对偶函数

步骤：

先将原问题转化为对偶函数的形式，且其恒为凹函数，此时其函数构成了原问题最优值的下届。

当主问题满足某些充分条件时，如Slater条件：主问题是凸优化问题，且可行集中存在一点能使得所有不等式约束的不等号成立，则强对偶成立。

此时可通过寻找到满足KKT条件的点，寻找到最优解。

特点：

对偶问题恒为凸优化问题，更容易求解。

原始问题时间复杂度和特征维数成正比，而对偶问题和数据量成正比。

可以很自然地引入核函数，进而推广到非线性分类问题。

二、软间隔和支持向量回归

算法原理

从数学角度说，软间隔就是允许部分样本（但尽可能少）不满足约束条件。所以损失函数要使得满足约束条件时，损失为0，当不满足约束条件时损失不为0，（可选）当不满足约束条件时，损失与其违反约束条件的程度成正比。

软间隔

在支持向量机的基础上，引入合页函数，将约束项转化到损失函数内，同时引入松弛变量，使得合页函数的输出代表松弛程度。

支持向量回归

先比于线性回归用一条线来拟合训练样本，支持向量回归而是采用一个以线为中心，有一定宽度的间隔带，来拟合训练样本，结合软间隔的原理，进行损失函数的构造。

同时在线的两边引入两个不同的松弛变量，代表两边采取不同的松弛程度。