【PyTorch】_Loss 损失函数

损失函数、代价函数、成本cost函数、误差函数基本是一个概念。当我们通过以往的数据得到模型后，然后将数据输入这个模型得到的值与真实值之间会产生误差，我们求解误差总和的过程就是代价函数。

• 方差代价函数
  • MSE距离损失函数——最小平方误差准则Minimum Squared Error
• 交叉熵代价函数
• Hinge loss

cross entropy loss

PyTorch损失函数设计

https://blog.csdn.net/zhangxb35/article/details/72464152

torch.backword()

Word2Vec

sampled softmax

NCE loss

focal loss

针对类别不平衡问题，这个损失函数是在标准交叉熵损失基础上修改得到的。这个函数可以通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本。
一个最基本的对交叉熵的改进，也将作为本文实验的baseline，既然one-stage detector在训练的时候正负样本的数量差距很大，那么一种常见的做法就是给正负样本加上权重，负样本出现的频次多，那么就降低负样本的权重，正样本数量少，就相对提高正样本的权重。因此可以通过设定a的值来控制正负样本对总的loss的共享权重。a取比较小的值来降低负样本（多的那类样本）的权重。
focal loss的两个性质算是核心，其实就是用一个合适的函数去度量难分类和易分类样本对总的损失的贡献。

Triplet Loss 三重损失

• 用于训练差异性较小的样本，如人脸等
• Feed数据包括锚（Anchor）示例、正（Positive）示例、负（Negative）示例，通过优化锚示例与正示例的距离小于锚示例与负示例的距离，实现样本的相似性计算。