软间隔与正则化
现实任务中,往往很难确定合适的核函数使得训练样本在特征空间中线性可分;退一步说,几遍恰好找到了某个核函数使训练集在特征空间中线性可分,也很难断定这个貌似线性可分的结果不是由于过拟合所造成的。
缓解该问题的一个办法是允许支持向量机在一些样本上出错。为此,要引入“软间隔”。
软间隔表示,允许某些样本不满足约束。
常用的替代损失函数有
同时,对软间隔支持向量机,KKT条件要求
支持向量回归
现在考虑的是回归问题,给定训练样本D,希望学得一个回归模型,是的f(x)与y尽可能接近,w和b是待确定的模型参数。
支持向量回归(简称“SVR”)结社我们能容忍f(x)与y之间最多有ε的偏差,即仅当f(x)与y之间的差别绝对值大于ε时才计算损失。这相当于以f(w)为中心,构建了一个宽度为2ε的间隔带,若训练样本落入此间隔带,则认为是被预测正确的。
于是,SVR问题可形式化为
其中,C为正则化常数,是下图的ε-不敏感损失函数
引入松弛变量和,可将形式化SVR改写成
且SVR的对偶问题为
上述过程中还需要满足KKT条件,即要求
还可得到SVR的解形式
能使得不等于零的样本即为SVR的支持向量,必落在ε-间隔带之外。