svm回归

转载自：
http://blog.sina.com.cn/s/blog_62970c250102xfzj.html
1.SVM回归模型的损失函数度量
我们知道SVM分类模型的目标函数是
，
同时要让训练集中的各个样本点尽量远离自己类别一侧的支持向量，即约束条件是

。如果加上一个松弛变量，则目标函数变成

，对应的约束条件变成
。
对于回归模型，优化目标函数和分类模型保持一致，依然是
，但是约束条件不同。我们知道回归模型的目标是让训练集中的每个样本点（xi,yi），尽量拟合到一个线性模型上。对于一般的回归模型，我们是用均方误差作为损失函数的，但SVM不是这样定义损失函数的。
SVM需要定义一个常量，对于某个样本点（xi,yi），如果，则完全没有损失；如果大于，则对应的损失为。这个损失函数和均方误差不同，如果是均方误差，则只要就会有损失。
如下图所示，在蓝色带里面的点都是没有损失的，但是外面的点是有损失的，损失大小为红色线的长度。

总结一下，SVM回归模型的损失函数度量为：