深度学习：常见损失函数简介--名称、作用和用法

目录

1. L1 Loss

2. NLL Loss (Negative Log Likelihood Loss)

3. NLLLoss2d

4. Gaussian NLL Loss

5. MSE Loss (Mean Squared Error Loss)

6. BCE Loss (Binary Cross-Entropy Loss)

7. Smooth L1 Loss

8. Cross Entropy Loss

---

1. L1 Loss

• 作用：计算预测值与真实值之间的绝对差。
• 用法：常用于回归问题，适合处理异常值。
• 公式：

  

 

2. NLL Loss (Negative Log Likelihood Loss)

• 作用：用于分类任务，特别是在使用Softmax的多类分类中。
• 用法：通常与Softmax输出结合使用。
• 公式：

  

 

3. NLLLoss2d

• 作用：与NLL Loss类似，但用于2D图像数据（如语义分割）。
• 用法：适用于多类图像分割任务。
• 公式：类似于NLL Loss，但在空间维度上扩展。

 

4. Gaussian NLL Loss

• 作用：用于处理带有高斯噪声的回归任务。
• 用法：输出为高斯分布的模型。
• 公式：

  

 

5. MSE Loss (Mean Squared Error Loss)

• 作用：计算预测值与真实值之间的均方误差。
• 用法：广泛用于回归问题。
• 公式：

  

 

6. BCE Loss (Binary Cross-Entropy Loss)

• 作用：用于二分类问题，计算每个样本的交叉熵。
• 用法：适合处理二元标签任务。
• 公式：

  

 

7. Smooth L1 Loss

• 作用：结合了L1 Loss和MSE Loss，平滑处理。
• 用法：常用于目标检测任务。
• 公式：当差值小于1时，使用MSE，否则使用L1。

 

8. Cross Entropy Loss

• 作用：用于多类分类问题，计算预测分布与真实分布的差异。
• 用法：常与Softmax一起使用。
• 公式：