损失函数汇总

包含理论说明和代码实现。

概述

损失函数的作用

下面分回归、分类两大部分，逐个介绍：

一.回归部分

1. L1损失

2. SmoothL1Loss

3. MSELoss(L2损失)

二.分类部分

1. MAE(平均绝对误差)

2. MSE(均方误差)

3. MSELoss(均方差损失函数)

4. CrossEntropyLoss(交叉熵损失函数)

4.1 对于二分类

4.2 多分类

5. 0-1损失函数

6. log对数损失函数

7. 绝对值损失函数

8. 平方损失函数

9. 指数损失函数（exponential loss）

10. Hinge 损失函数

11. 感知损失(perceptron loss)函数

Pytorch版本代码调用实例

一般对于损失函数均包含布尔类型的参数-reduce、size_avarage

1.reduce=False,则参数size_avarage失效，直接返回向量形式的loss，大小和batch_size相同。

2.reduce=True,则参数size_avarage返回标量：

 若size_avarage=True，则返回loss的均值；

 若size_avarage=False,则返回loss的和。