2021-04-22

yolo v4学习笔记

label smoothing

传统one-hot编码标签的网络学习过程中，鼓励模型预测为目标类别的概率趋近1，非目标类别的概率趋近0，即最终预测的logits向量（logits向量经过softmax后输出的就是预测的所有类别的概率分布）中目标类别的值会趋于无穷大，使得模型向预测正确与错误标签的logit差值无限增大的方向学习，而过大的logit差值会使模型缺乏适应性，对它的预测过于自信。在训练数据不足以覆盖所有情况下，这就会导致网络过拟合，泛化能力差，而且实际上有些标注数据不一定准确，这时候使用交叉熵损失函数作为目标函数也不一定是最优的了。
公式：其中K是类别多分类的类别总数，a是一个较小的超参数（一般取0.1）yhot是原本的标签。

BCE Loss（Binary Cross Entropy）

BCE全称为二分类交叉熵公式为：
其中n为类别数，y为label，x为模型预测值。