周志华 机器学习 Day10

软间隔与正则化

现实任务中，往往很难确定合适的核函数使得训练样本在特征空间中线性可分；退一步说，几遍恰好找到了某个核函数使训练集在特征空间中线性可分，也很难断定这个貌似线性可分的结果不是由于过拟合所造成的。

缓解该问题的一个办法是允许支持向量机在一些样本上出错。为此，要引入“软间隔”。

软间隔表示，允许某些样本不满足约束。

常用的替代损失函数有

同时，对软间隔支持向量机，KKT条件要求

支持向量回归

现在考虑的是回归问题，给定训练样本D，希望学得一个回归模型，是的f(x)与y尽可能接近，w和b是待确定的模型参数。

支持向量回归（简称“SVR”）结社我们能容忍f(x）与y之间最多有ε的偏差，即仅当f(x)与y之间的差别绝对值大于ε时才计算损失。这相当于以f(w)为中心，构建了一个宽度为2ε的间隔带，若训练样本落入此间隔带，则认为是被预测正确的。

于是，SVR问题可形式化为

其中，C为正则化常数，是下图的ε-不敏感损失函数

引入松弛变量和，可将形式化SVR改写成

且SVR的对偶问题为

上述过程中还需要满足KKT条件，即要求

还可得到SVR的解形式

能使得不等于零的样本即为SVR的支持向量，必落在ε-间隔带之外。