svr公式推导_支持向量回归（SVR）的详细介绍以及推导算法

1 SVR背景

2 SVR原理

3 SVR数学模型

SVR的背景

SVR做为SVM的分支从而被提出，一张图介绍SVR与SVM的关系

这里两虚线之间的几何间隔r=d ∣ ∣ W ∣ ∣ \frac{d}{||W||}∣∣W∣∣d​,这里的d就为两虚线之间的函数间隔。

(一图读懂函数间隔与几何间隔)

这里的r就是根据两平行线之间的距离公式求解出来的

SVR的原理

SVR与一般线性回归的区别

SVR

一般线性回归

1.数据在间隔带内则不计算损失，当且仅当f(x)与y之间的差距的绝对值大于ϵ \epsilonϵ才计算损失

1.只要f(x)与y不相等时，就计算损失

2.通过最大化间隔带的宽度与最小化总损失来优化模型

2.通过梯度下降之后求均值来优化模型

原理：SVR在线性函数两侧制造了一个“间隔带”，间距为ϵ \epsilonϵ(也叫容忍偏差，是一个由人工设定的经验值)，对所有落入到间隔带内的样本不计算损失，也就是只有支持向量才会对其函数模型产生影响，最后通过最小化总损失和最大化间隔来得出优化后的模型。

注：这里介绍一下支持向量的含义：直观解释，支持向量就是对最终w,b的计算起到作用的样本(a>0)

SVR的数学模型

3.1线