【深度学习】分类loss

Introduction

Note:

• CE与FL 均为分类任务的目标函数。

CE

交叉熵误差 (Cross-entropy Loss，CE) ：

C E ( y ^ ) = − 1 N ∑ i = 1 N [ I { y = y ′ } log ⁡ ( p t ) ] CE(\hat{y}) = - \frac{1}{N} \sum_{i=1}^N [I \{y=y'\} \log(p_t)] CE(y^​)=−N1​i=1∑N​[I{y=y′}log(pt​)]

Note：

• $N$：该batch的样本数。

• I { y = y ′ } I \{y=y'\} I{y=y′} ：只对 gt 所对应的那一个单类进行响应计算。

• $$p_t=\{\begin{array}{rlrl}& \frac{1}{1+e^{-x}}& ，& 先sigmoid\\ & \frac{e^{x_i}}{{\sum }_{j=1}^c{e}^{x_j}}& ，& 先softmax\end{array}$$

求导：
损失函数 - 交叉熵损失函数

FL

焦点误差（Focal Loss，FL），于2017年提出。

其设计如下：

$$FL(\hat{y})=(1-p_t{)}^{\gamma }CE(\hat{y})$$

$\gamma$：gamma。

CE -> FL

FL的出现极大地缓解了CE无法克服的“类别不平衡问题”。FL整体降低了loss，但对量少类的loss削减幅度较小，因此量少类loss所占总loss的比例大大升高。

---

[1] Deep Learning
[2] 深度学习: Softmax 函数
[3] 深度学习: 目标函数
[4] 交叉熵代价函数