交叉熵损失函数和focal loss_目标检测分类损失函数——Cross entropy、Focal loss

一、Cross Entropy Loss

交叉熵是用来判定实际的输出与期望的输出的接近程度，刻画的是实际输出与期望输出的距离，也就是交叉熵的值越小，两个概率分布就越接近。

1. CE Loss的定义

假设概率分布p为期望输出，概率分布q为实际输出，H(p,q)为交叉熵，则：

当

时，交叉熵取得最小值，因此可以利用交叉熵比较一个分布与另一个分布的吻合情况。交叉熵接近于熵，

便是针对

更好的逼近，事实上模型的输出与期望的输出越接近，交叉熵也会越小，这正是损失函数所需要的。

2. CE Loss推导

在这以逻辑回归做一次交叉熵及其反向传播的推导：

逻辑回归估计的是概率，则用联合概率分布衡量损失：

似然函数如下：

取对数求极大似然估计：

将求极大值转换成求极小值乘上

反向传播采用梯度下降法求

的最小值：