SVM回归

 SVM回归算法采用ϵ−insensitive误差函数。ϵ−insensitive 误差函数定义为，如果预测值yn与真实值tn的差值小于阈值ϵ将不对此样本点做惩罚，若超出阈值，惩罚量为|yn−tn|−ϵ。

Eϵ 误差函数实际形成了一个管道，在管道中样本点不做惩罚被称为ϵ−tube（放松了惩罚不过度追求完美拟合）。Eϵ替代平方误差项，最小化误差函数为:

 上述目标函数含有绝对值项不可微。因此我们将它转化为一个约束优化问题。为每一个样本数据定义两个松弛变量ξn≥0,ξn^≥0，表示度量tn与ϵ−tube的距离。

当样本点真实值tn位于管道上方时，ξn>0,写成表达式：tn>y(xn)+ϵ时，ξn>0，ξ^n=0；

当样本点真实值tn位于管道下方时，ξn^>0,写成表达式：tn<y(xn)−ϵ时，ξn^>0，ξn=0； 

 如上图所示，蓝色点tn>y(xn)+ϵ,需要惩罚，因此需要ξn>0,绿色点tn<y(xn)+ϵ,在管道内不需要