回归问题
对于给定的样本
D={(x1,y1),(x2,y2),…,(xm,ym)},yi∈R
我们希望习得一个回归模型,形如
f(x)=wTx+b
使得
f(x)
和
y
尽可能地接近,
传统的回归处理方式
对于样本
SVR处理方式
支持向量回归(Support Vector Regression),假设我们能容忍
当且仅当模型输出
f(x)
与真实输出
y
的差别绝对值大于
于是这就相当于是以
f(x)
为中心,构建一个宽度为
2ϵ
的间隔带。若训练样本落入此间隔带内则被认为是预测正确的。
于是SVR问题可以形式化为:
minw,b12||w||2+C∑i=1mℓϵ(f(xi)−yi)(A)
其中 C 为正则化常数,
ℓϵ={0,|z|−ϵ,if |z|≤ϵ;otherwise
松弛变量
间隔带两侧的松弛程度可有所不同。于是松弛变量
εi
和
ε^i
重写
A
拉格朗日乘子法
L(w,b,α,α^,ε,ε^,μ,μ^)=12||w||2+C∑i=1m(εi+ε^i)−∑i=1mμiεi−∑i=1mμ^iε^i+∑i=1mαi(f(xi)−yi−ϵ−εi)+∑i=1mα^i(yi−f(xi)−ϵ−ε^i)
令 L(w,b,α,α^,ε,ε^,μ,μ^) 对 w,b,εi和ε^i
w0CC=∑i=1m(α^i−αi)xi=∑i=1m(α^i−αi)=αi+μi=α^i+μ^i
SVR对偶问题
maxα,α^ s.t.] ∑i=1myi(α^i−αi)−ϵi(α^i−αi)−12∑i=1m∑j=1m(α^i−αi)(α^j−αj)xTixj∑j=1m(α^i−αi)=0,0≤αi,α^i≤C.