Introduction
Note:
- CE与FL 均为分类任务的目标函数。
CE
交叉熵误差 (Cross-entropy Loss,CE) :
C E ( y ^ ) = − 1 N ∑ i = 1 N [ I { y = y ′ } log ( p t ) ] CE(\hat{y}) = - \frac{1}{N} \sum_{i=1}^N [I \{y=y'\} \log(p_t)] CE(y^)=−N1i=1∑N[I{y=y′}log(pt)]
Note:
-
N N N:该batch的样本数。
-
I { y = y ′ } I \{y=y'\} I{y=y′} :只对 gt 所对应的那一个单类进行响应计算。
-
p t = { 1 1 + e − x , 先 s i g m o i d e x i ∑ j = 1 c e x j , 先 s o f t m a x p_t=\left\{ \begin{aligned} &\frac{1}{1 + e^{-x}}&,&先sigmoid \\ &\frac{e^{x_{i}}}{\sum_{j=1}^c e^{x_j}}&,&先softmax \end{aligned} \right. pt=⎩ ⎨ ⎧1+e−x1∑j=1cexjexi,,先sigmoid先softmax
求导:
损失函数 - 交叉熵损失函数
FL
焦点误差(Focal Loss,FL),于2017年提出。
其设计如下:
F L ( y ^ ) = ( 1 − p t ) γ C E ( y ^ ) FL(\hat{y}) = (1-p_t)^\gamma CE(\hat{y}) FL(y^)=(1−pt)γCE(y^)
γ \gamma γ:gamma。
CE -> FL
FL的出现极大地缓解了CE无法克服的“类别不平衡问题”。FL整体降低了loss,但对量少类的loss削减幅度较小,因此量少类loss所占总loss的比例大大升高。
[1] Deep Learning
[2] 深度学习: Softmax 函数
[3] 深度学习: 目标函数
[4] 交叉熵代价函数