Huber Loss function

Huber loss是为了增强平方误差损失函数(squared loss function)对噪声(或叫离群点,outliers)的鲁棒性提出的。

Definition

Lδ(a)=12a2,δ(|a|12δ),for |a|δ,otherwise.

参数 a 通常表示residuals,也即(yy^)或者写作 (yf(x)) ,当 a=yf(x) 时,上述形式可以拓展为:

Lδ(y,f(x))=12(yf(x))2,δ(|yf(x)|12δ),for |yf(x)|δotherwise.

visualization

import numpy as np
import matplotlib.pyplot as plt

def huber_loss(e, d):
    return (abs(e)<=d)*e**2/2 + (e>d)*d*(abs(e)-d/2)

plt.figure(figsize=(6, 4.5), facecolor='w', edgecolor='k')
x = np.arange(-20, 20)
plt.plot(x, x**2/2, label='squared loss', lw=2, 'g')
for d in (10, 5, 3, 1):
    plt.plot(x, huber_loss(x, d), label=r'huber loss: $\delta$={}'.format(d), lw=2)

plt.legend(loc='best', frameon=False)
plt.xlabel('standard deviation')
plt.ylabel('loss')
plt.show()


这里写图片描述

References

[1] Huber Loss Wikipedia

相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页