Huber回归未忽略掉outlier，对oulier的采用线性损失，从而相对地降低了outlier的权重，最终降低了outlier对回归结果的影响。1相对地降低了outlier的权重是相对于MSE而言的，因为MSE采用平方，而Huber损失采用的是线性损失。2
Huber回归的优化目标函数如下1：
min
w
,
σ
∑
i
=
1
n
(
σ
+
H
ϵ
(
X
i
w
−
y
i
σ
)
σ
)
+
α
∥
w
∥
2
2
\min _{w, \sigma} \sum_{i=1}^{n}\left(\sigma+H_{\epsilon}\left(\frac{X_{i} w-y_{i}}{\sigma}\right) \sigma\right)+\alpha\|w\|_{2}^{2}
w,σmini=1∑n(σ+Hϵ(σXiw−yi)σ)+α∥w∥22
其中：
H
ϵ
(
z
)
=
{
z
2
,
if
∣
z
∣
<
ϵ
2
ϵ
∣
z
∣
−
ϵ
2
,
otherwise
H_{\epsilon}(z)=\left\{\begin{array}{ll}{z^{2},} & {\text { if }|z|<\epsilon} \\ {2 \epsilon|z|-\epsilon^{2},} & {\text { otherwise }}\end{array}\right.
Hϵ(z)={z2,2ϵ∣z∣−ϵ2, if ∣z∣<ϵ otherwise
扫一扫
555
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
