randn函数加噪声_损失函数 （Loss Function）

1. 损失函数
   1. MSELoss（均方误差损失函数）
   2. BCELoss、BCEWithLogitsLoss
   3. CrossEntropyLoss
   4. L1Loss
   5. SmoothL1Loss
2. 各个损失函数的导数

计算值：

真实值：

pytorch很多的loss 函数都有size_average和reduce两个布尔类型的参数，需要解释一下。因为一般损失函数都是直接计算 batch 的数据，因此返回的 loss 结果都是维度为(batch_size, ) 的向量。

• 如果 reduce = False，那么 size_average 参数失效，直接返回向量形式的 loss；
• 如果 reduce = True，那么 loss 返回的是标量
  • 如果 size_average = True，返回 loss.mean();
  • 如果 size_average = True，返回 loss.sum();

若把这两个参数设置成 False，这样子比较好理解原始的损失函数定义。

1、MSELoss（均方误差损失函数）