常用的回归损失函数

常用的回归损失函数

平均绝对误差(Mean Absolute Error, MAE)

  1. 定义
    MAE计算预测值与真实值之间差的绝对值的平均数。

M A E = 1 n ∑ i = 1 n ∣ y i − y ^ i ∣ MAE = \frac{1}{n}\sum_{i=1}^{n}|y_i - \hat{y}_i| MAE=n1i=1nyiy^i

其中n是样本数量,y_i是真实值,\hat{y}_i是预测值。

  1. 优点

    • 直观易理解。
    • 对异常值不敏感。
  2. 缺点

    • 不提供关于误差方向的信息。
    • 梯度恒定,可能导致收敛速度慢。

均方误差(Mean Squared Error, MSE)

  1. 定义
    MSE计算预测值与真实值之间差的平方的平均数。

M S E = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 MSE = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2 MSE=n1i=1n(yiy^i)2

  1. 优点

    • 惩罚较大的误差,有利于模型更精确预测。
    • 在优化中具有良好的数学性质(可微)。
  2. 缺点

    • 对异常值非常敏感。
    • 误差较大时,梯度也较大,可能导致模型不稳定。

均方根误差(Root Mean Squared Error, RMSE)

  1. 定义
    RMSE是MSE的平方根。

R M S E = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 RMSE = \sqrt{\frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2} RMSE=n1i=1n(yiy^i)2

  1. 优点

    • 惩罚大误差,有助于模型精度。
    • 与目标变量同一量纲,易于解释。
  2. 缺点

    • 对异常值敏感。
    • 可能过度惩罚大误差。

平均绝对百分比误差(Mean Absolute Percentage Error, MAPE)

  1. 定义
    MAPE计算预测值与真实值之间差的绝对值与真实值之比的平均数。

M A P E = 1 n ∑ i = 1 n ∣ y i − y ^ i y i ∣ MAPE = \frac{1}{n}\sum_{i=1}^{n}\left|\frac{y_i - \hat{y}_i}{y_i}\right| MAPE=n1i=1n yiyiy^i

  1. 优点

    • 结果易于解释,因为它是百分比形式。
    • 适用于不同量级的数据。
  2. 缺点

    • 当真实值接近或等于零时,MAPE会变得非常大或不确定。
    • 对异常值相对敏感。

Huber损失

  1. 定义
    Huber损失是MAE和MSE的结合,对于小的误差,它是平方误差,对于大的误差,则是线性误差。

L δ ( y , y ^ ) = { 1 2 ( y − y ^ ) 2 for  ∣ y − y ^ ∣ ≤ δ , δ ( ∣ y − y ^ ∣ − 1 2 δ ) otherwise. L_{\delta}(y, \hat{y}) = \begin{cases} \frac{1}{2}(y - \hat{y})^2 & \text{for } |y - \hat{y}| \le \delta,\\ \delta(|y - \hat{y}| - \frac{1}{2}\delta) & \text{otherwise.} \end{cases} Lδ(y,y^)={21(yy^)2δ(yy^21δ)for yy^δ,otherwise.

其中δ是一个可调参数,决定了何时切换损失。

  1. 优点

    • 对异常值更加鲁棒。
    • 在误差较小时是平滑的,有助于模型稳定。
  2. 缺点

    • 需要选择合适的δ值。
    • 计算复杂度高于MAE和MSE。

总结

对于选择损失函数,需要考虑模型的具体需求和数据的特点。例如,如果数据包含许多异常值,可能会选择Huber损失或MAE来减少异常值的影响。如果模型需要惩罚大的误差,MSE或RMSE可能是更好的选择。

  • 26
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值