吃瓜教程TASK05【第六章-支持向量机】

支持向量机

找到能够正确划分正负样本的同时距离两组样本“最中间”的划分平面（即泛化性最好）。而支持向量机是一个凸优化问题。

凸优化

在优化问题中凸函数的定义与高数中相反

拉格朗日对偶问题

在主问题不好求解的时候，可通过对对偶问题求解间接求解主问题
性质：
1.当主问题满足某些充分条件时，强对偶性成立。如SVM满足Slater条件：“若主问题是凸优化问题，且可行集D中存在一点可使所有不等式约束的不等号成立，则强对偶性成立”
2.无论主问题是否为凸优化问题，对偶问题恒为凸优化问题

可行集

在定义域内，使所有约束条件成立的集合

KKT条件

SVM采用拉格朗日对偶求解的原因

① 对偶问题可以引入核函数，从而推广到非线性问题的分类问题
②对偶问题恒为凸优化问题容易求解，且原始问题的时间复杂度与特征维度呈正比（w是未知量），而对偶问题与数据量呈正比。在特征维度远高于数据量时，拉格朗日对偶问题更高效。

核函数

在处理现实问题时，对于一些原始样本空间并不存在一个能正确划分两类样本的平面（如异或问题），此时可将样本从原始空间映射到一个更高维度的特征空间，使样本在特征空间中可分。
若原始空间维度有限（属性数有限），则必存在一个高维特征空间使样本可分。
核函数选择是支持向量机的关键

软间隔

允许尽可能少的部分样本被错误划分，从而提高模型的鲁棒性，避免过拟合。
（即允许少部分负样本落在正样本空间，反之亦是）
从而得到更宽松的约束条件，只有满足以下要求时才能最小化损失的同时保证不满足约束条件的样本尽可能少
①当满足约束条件时损失为零
②当不满足约束条件时，损失不为零
③当不满足约束条件时，损失与其违反约束条件的程度呈反比

支持向量回归

经典的向量机是将点到划分平面的距离作为损失，支持向量回归给予了更宽的容忍偏差

落在间隔带范围的都记为0损失，超出间隔带再以间隔带边界计算损失。因此在最小化损失的过程中，最理想的情况是使间隔带从正负样本边界中样本最密集的地方穿过。

核方法

通过引入核函数，将线性学习器拓展为非线性学习器。