机器学习笔记：Huber Loss & smooth L1 loss

1 Huber loss

1.1 介绍

• Huber Loss是回归问题中的一种损失函数，它结合了均方误差MSE和绝对误差MAE的特点。
  • Huber Loss在误差较小的时候是平方损失，而在误差较大的时候是线性损失。
  • 因此，它在处理有噪声的数据时，尤其是存在离群点的情况下，比MSE更加鲁棒。
• 定义如下：
  • 
  • δ是一个超参数，上式等号右边第一项是 MSE 的部分（[-δ,+δ])，第二项是 MAE 部分【(-∞,-δ)和(δ，+∞）】
• 

1.2 python实现

import numpy as np

def huber_loss(y_true, y_pred, delta=1.0):
    """
    计算Huber损失。
    
    参数:
    - y_true: 真实值
    - y_pred: 预测值
    - delta: 阈值
    
    返回:
    - Huber损失
    """
    error = y_true - y_pred
    abs_error = np.abs(error)
    
    # 计算两种损失
    quadratic_loss = 0.5 * np.square(error)
    linear_loss = delta * (abs_error - 0.5 * delta)
    
    # 根据误差的绝对值选择损失
    return np.where(abs_error <= delta, quadratic_loss, linear_loss)

# 示例
y_true = np.array([2.0, 2.5, 3.5])
y_pred = np.array([2.5, 2.0, 2.0])
huber_loss(y_true, y_pred)

2 Smooth L1 loss