小白科研笔记：从MSE Loss到Cross-Entropy Loss到Focal Loss再到Circle Loss

1. 前言

这篇博客讨论分类问题的误差损失函数。对于二分类问题，真值标签记为 y i = { 0 , 1 } y_i=\{0,1\} yi​={0,1}。对于多分类问题，真值标签记为$y_i=(0,...,0,1,0,...,0{)}^T$。在该向量中，只允许有一个$1$出现。这种标记方法记为One-Hot向量。对于二分类问题，使用Sigmoid函数做输出。对于多分类问题，使用Softmax做输出。这是分类问题约定俗成的基本知识。

2. 从MSE损失函数到Cross-Entropy损失函数

Cross-Entropy的讲解可以参考这篇博客。首先讨论二分类问题。设第$i$个物体的标签是 y i = { 0 , 1 } y_i=\{0,1\} yi​={0,1}。$y_i=1$表示该物体属于$A$类，$y_i=0$表示该物体不属于$A$类。假定我们训练一个网络用语预测该物体的分类，预测结果是$p_i\in [0,1]$。怎样设计一个损失函数，让网络正确完成分类任务呢？可以直观地设计一个MSE损失函数：

$L_{mse,i}=\frac{1}{2}(y_i-p_i{)}^2$

假定网络经过一个全连接层预测出$p_i$的，那么$p_i=\sigma (Wx+b)$。对于二分类问题，要规范输出分布在$[0,1]$之间，所以需要使用Sigmoid函数，即函数$\sigma (\cdot )$是Sigmoid函数。训练网络需要对误差做反向传播，即需要计算偏导数$\partial L_{mse,i}/\partial W$：

$\partial L_{mse,i}/\partial W=(y_i-p_i){\sigma }^{\prime }(Wx+b)x$

Sigmoid函数的导数很有特点：${\sigma }^{\prime }(x)=\sigma (x)\cdot (1-\sigma (x))$，于是上式可以写为下式：

$\partial L_{mse,i}/\partial W=(y_i-p_i)\sigma (Wx+b)\cdot (1-\sigma (Wx+b))x$
$\partial L_{mse,i}/\partial W=(y_i-p_i)p_i(1-p_i)x$

可以发现，当$\sigma (Wx+b)=0,1$的时候，偏导数会等于零，造成梯度消失。在网络训练的初始阶段，因为参数是随机初始化的，所以$Wx+b$很可能会输出一些很大或者很小的数值，就这会造成$\sigma (Wx+b)$接近于零或者一，使得梯度消失，造成网络训练的困难。

因此分类问题不会去使用MSE损失函数。研究者们则采用Cross-Entropy损失函数。具体原因下面会有讨论。它的定义如下所示：

$L_{ce,i}=-[y_i\log (p_i)+(1-y_i)\log (1-p_i)]$

初次看到这种形式会觉得奇怪。我做一些说明。当$y_i=1$的时候，即该目标属于$A$类，此时损失函数变为：$L_{ce,i}=-\log (p_i)$。为了使$L_{ce,i}\to 0$，$p_i\to 1$。同理，当$y_i=0$的时候，即该目标不属于$A$类，此时损失函数变为：$:L_{ce,i}=-log(1-p_i)$。为了使$L_{ce,i}\to 0$，$p_i\to 0$。因此Cross-Entropy损失函数是有意义的。

好的，接下来计算反向传播的偏导数。为了方便理解，这里分情况讨论问题。

当$y_i=1$的时候，$L_{ce,i}=-\log (p_i)$。偏导数$\partial L_{ce,i}/\partial W$是：

$\partial L_{ce,i}/\partial W=-1/p_i\cdot p_i(1-p_i)x=-(1-p_i)x$

当$y_i=0$的时候，$L_{ce,i}=-log(1-p_i)$。偏导数$\partial L_{ce,i}/\partial W$是：

$\partial L_{ce,i}/\partial W=1/(1-p_i)\cdot p_i(1-p_i)x=-(0-p_i)x$

统一上述的推导，我们可以得到：

$\partial L_{ce,i}/\partial W=-(y_i-p_i)x$

从这个偏导数可以看出，它非常简洁，避免了使用Sigmoid带来的梯度消失问题。然而Cross-Entropy函数在用于多分类问题的时候，会出现一些问题，可以参考这篇博客。

3. 从Cross-Entropy损失函数到Focal Loss损失函数

Focal Loss的讲解可以参考这篇博客和知乎笔记。Focal Loss主要解决分类问题中，正负样本不均衡的现象。还是以二分类问题作说明。设总数据集的损失函数是$L$，使用Cross-Entropy后，它可以表示为：

$L={\sum }_{i=1}^N{L}_{ce,i}={\sum }_{i=1}^N-[y_i\log (p_i)+(1-y_i)\log (1-p_i)]$

记正样本的个数是$N_p$，负样本的个数是$N_n$，有$N_p+N_n=N$。$L$可以改写为：

$L=L_p+L_n={\sum }_{i=1}^{N_p}-log(p_i)+{\sum }_{j=1}^{N_n}-\log (1-p_j)$

假设正样本的数量远大于负样本的数量，那么对于训练器而言，最小化$L_p$的重要性远远大于最小化$L_n$。于是训练器可能会拼命地减小$L_p$而去忽视$L_n$，这就会造成负样本识别率很低。比如，我们设计一个癌症分类算法。数据集中是正常人群远大于患病人群的，但是显然我们只去关心识别病患的准确率，而不是正常人的准确率。所以Cross-Entropy会面临困境。同理，当负样本的数量远大于正样本数量的时候，同样的问题也会出现。

为了解决这个问题，Focal Loss便应运而生。

先总结一下Cross-Entropy的表达式：

$L_{ce,i}=\{\begin{array}{rlr}& -\log (p_i),& y_i=1\\ & -\log (1-p_i),& y_i=0\end{array}$

先来看第一个修改版本：

$L_{a,i}=\{\begin{array}{rlr}& -\alpha \log (p_i),& y_i=1\\ & -(1-\alpha )\log (1-p_i),& y_i=0\end{array}$

参数$\alpha \in (0,1)$用于衡量正负样本之间的权重。如果$\alpha \to 0$，表示正样本的误差不重要，而负样本的误差很重要。同理，如果$\alpha \to 1$，表示正样本的误差很重要。参数$\alpha$的引用解决了正负样本之间不均衡的情况。$\alpha$应该跟正负样本之间的数量比例相关。如果正样本和负样本的比例是$3:1$的话，$\alpha =1/4=0.25$。

在分类问题中，除了解决正负样本不均衡的情况，还需要解决容易样本/困难样本的不均衡的情况。还是以正样本举例子。对于容易分类的正样本，网络的输出很容易到达$p_i=0.9$；然而对于困难分类的正样本，网络的输出可能仅仅是$p_i=0.5$，或者更低。如果数据集中容易的样本数远大于困难样本，网格更偏向于处理容易分类的样本。

为了解决这个问题，Focal Loss的完整表述如下所示：

$L_{focal,i}=\{\begin{array}{rlr}& -\alpha (1-p_i{)}^{\gamma }\log (p_i),& y_i=1\\ & -(1-\alpha )p_i^{\gamma }\log (1-p_i),& y_i=0\end{array}$

$\gamma$是权重因子。为了便于理解，咱们先把上述公式中的$\alpha$去掉。令$\gamma =2$。对于一个容易分类的正样本，网络的输出是$p_i=0.9$，它的Cross-Entropy误差是$-\log (0.9)=0.105$。它的Focal loss误差是$-0.1^2\log (0.9)=0.00105$，缩小了100倍。可见$\gamma >1$会削弱容易分类样本的损失函数。因此实际分类中会让$\gamma >1$。

最后看一下Focal-Loss函数的反向传播的求导过程。在这里就简单分析一个情况吧。当$y_i=1$的时候，$L_{focal,i}=-\alpha (1-p_i{)}^{\gamma }\log (p_i)$。偏导数$\partial L_{focal,i}/\partial W$是：

$\partial L_{focal,i}/\partial W=\alpha \gamma (1-p_i{)}^{\gamma -1}\log (p_i)\cdot p_i(1-p_i)-\alpha (1-p_i{)}^{\gamma }\cdot p_i^{-1}\cdot p_i(1-p_i)$
$\partial L_{focal,i}/\partial W=\alpha \gamma (1-p_i{)}^{\gamma }\log (p_i)p_i-\alpha (1-p_i{)}^{\gamma +1}$

按照之前的分析，Focal Loss不会在网络训练的初始阶段出现梯度消失情况。

4. 多目标分类

在讲解Circle Loss之前，咱们先做点热身，讨论一下多分类情况。首先多分类输出是用SoftMax函数，一般情况下多分类问题的误差损失函数依然是Cross-Entropy函数。记样本的总数为$N$个，分类目标是$A_1,...,A_M$，分类目标个数是$M$个。对于第$i$个样本来说，网络的输出是$p_{i,0},...,p_{i,M}$。记网络在SoftMax层之前的输出是$q_{i,0},...,q_{i,M}$。$q_{i,k}=W_k{x}_i+b_k$。根据SoftMax定义，$p_{i,k}$的计算方式如下所示：

$p_{i,k}=\exp (q_{i,k})/{\sum }_j^M\exp (q_{i,j})$

在$p_{i,0},...,p_{i,M}$中，如果$p_{i,a}$是其中最大的，那么第$i$个样本属于第$a$类。接下来讨论多分类情况下的Cross-Entropy损失函数。设$y_{i,0},...,y_{i,M}$是$p_{i,0},...,p_{i,M}$对应的真值标签。按照刚才这个例子，只有$y_{i,a}=1$，对于其他的则都是零。关于第$i$个样本的Cross-Entropy损失函数定义如下所示：

$L_{ce,i}=-{\sum }_j^M{y}_{i,j}\log (p_{i,j})$

总误差函数则定义为：

$L={\sum }_i^N{L}_{ce,i}=-{\sum }_i^N{\sum }_j^M{y}_{i,j}\log (p_{i,j})$

迁移上一节学习到的Focal Loss知识，多分类的Focal Loss误差损失函数如下所示：

$L_{focal,i}=-{\sum }_j^M{\alpha }_j\cdot (1-p_{i,j}{)}^{{\gamma }_j}\cdot y_{i,j}\log (p_{i,j})$

其中${\sum }_{i=1}^M{\alpha }_i=1$。使用SoftMax后，Cross-Entropy损失函数的导数形式也是比较简单的。这里就不做推到啦。如果对于第$i$个样本，它的分类真值是第$k$类，那么$L_{focal,i}$可以变形为：

$L_{focal,i}=-{\alpha }_k\cdot (1-p_{i,k}{)}^{{\gamma }_k}\cdot \log (p_{i,j})$

Cross-Entropy损失函数就变为如下所示：

$L_{ce,i}=-\log (p_{i,k})$

看上去这些公式都很简洁的。

我们做个小扩展哈。对于二分类问题，激活函数是Sigmoid函数，即$p_i=\sigma (W{x}_i+b)$。$L_{ce,i}$可以进一步写为：

$L_{ce,i}=-\log (1/(1+\exp [-(W{x}_i+b)]))=\log (1+\exp [-(W{x}_i+b)])$

请记住这种误差表述形式：$L_i=\log (1+\exp (\Delta ))$这种形式。$\Delta$是一个复杂的表达式，在后续会接着讨论。

5. 从Cross-Entropy损失函数到Circle Loss

Circle Loss是一篇CVPR2020的文章。原文太复杂了，不方便我等小白阅读。在这篇博客，咱只讨论一个多分类情况。一共有$M$个类别，标记为$A_1,...,A_M$。还是以第$i$个样本为例子，假定它的标签是$A_k$。SoftMax的函数标记为$S(\cdot )$。网络的输出是$O_i=S(W{x}_i+b)$，其中$O_i\in {\text{R}}^M$。

一切都正常。接下来咱讨论类内（Within Class）和类间（Between Class）的概念。学过模式识别的话，对这个概念不会太陌生。假定大家都理解这个概念哈。在多分类问题中，类内和类间如何去定义呢？

我不想说得太抽象。我会举两个例子。

例子一：基于欧式空间对类内类间的定义。第$i$个样本的标签是$A_k$，one-hot形式表示的话就是$1_k=(0,...,0,1,0,...,0{)}^T$，$1$唯一地出现在第$k$列。类内距离定义为：$s_p(i)=\Vert O_i-1_k{\Vert }_2$。类间距离定义为：$s_n^j(i)=\Vert O_i-1_j{\Vert }_2(j\ne k)$。距离度量换成马氏距离/曼哈顿距离都是可以的。

例子二：基于余弦/向量积对类内类间的定义。对于两个单位向量，常常用它们之间的夹角来衡量两单位向量之间的相似性。它们之间的夹角正比于余弦夹角，而余弦夹角就是两向量的向量积。因此可以用向量积度量单位向量间的相似性。$1_k$是单位向量。$O_i$不一定。使用正交化处理一下：$O_i=O_i/\Vert O_i{\Vert }_2$。类内距离定义为：$s_p(i)=O_i^T{1}_k$。类间距离定义为：$s_n^j(i)=O_i^T{1}_j(j\ne k)$。

注释：对于基于欧式空间对类内类间的定义，输出值趋于零表示两个类越接近；对于基于余弦/向量积对类内类间的定义，输出值区域1表示两个类越接近。正好是相反的。

在Circle Loss这篇论文中，作者倾向于使用基于余弦/向量积对类内类间的定义。这种使用可追溯到一些经典的人脸检测的损失函数设计论文。这里不去细讲。下面的讨论以基于余弦/向量积对类内类间的定义为主。

一切都还好。对于多分类问题，自然是希望网络的输出$O_i$尽可能地接近真值$1_k$，并尽可能地远离其他类$1_j(j\ne k)$。翻译成数学语言，就是$s_p(i)\to 1$，$s_n^j(i)\to 0(j=1,...,M;j\ne i)$。

前方高能。Circle Loss提出一个统一的（Unified）误差函数模型，如下所示：

$L_{un,i}=\log (1+{\sum }_{j\ne i}^M\exp [\gamma (s_n^j(i)-s_p(i)+m)])$

初次看到这个表达式无疑会一脸懵比。但是我们注意到它属于$L_i=\log (1+\exp (\Delta ))$这一类型，进而就知道它是SoftMax和Cross-Entropy的公式推导最终的形式。貌似$(s_n^j(i)-s_p(i)+m)$这种奇怪的形式让人难以接受。

我们顺藤摸瓜想一想。训练器的最终目的是让$L_{un,i}\to 0$，这等价于$(s_n^j(i)-s_p(i)+m)\to -\infty$。对于余弦距离来说，这肯定是达不到的。自然是期望$s_p(i)\to 1$，$s_n^j(i)\to 0(j=1,...,M;j\ne i)$。此时达到最小：$(s_n^j(i)-s_p(i)+m)\ge (-1+m)$。从数学角度讲，$m$的设置貌似没什么意义，就放在哪里不去管它（想象一下QQ中摊手那个表情）。$\gamma$就是个普通的调节系数。至此，$L_{un,i}$的结构算是理清楚了。

论文对$L_{un,i}$做了一个简单的变形：

$L_{un,i}=\log (1+{\sum }_{j\ne i}^M\exp [\gamma (s_n^j(i)+m)]\cdot \exp [-\gamma s_p(i)])$

该变形等价于一种AM-SoftMax形式：

L u n , i = − log ⁡ { exp ⁡ ( γ ( s p ( i ) − m ) ) / [ exp ⁡ ( γ ( s p ( i ) − m ) ) + ∑ j ≠ i M exp ⁡ ( γ s n j ( i ) ) ] } L_{un,i}=-\log\{\exp(\gamma(s_p(i)-m))/[\exp(\gamma(s_p(i)-m))+\sum_{j\not=i}^M\exp(\gamma s_n^j(i))]\} Lun,i​=−log{exp(γ(sp​(i)−m))/[exp(γ(sp​(i)−m))+∑j​=iM​exp(γsnj​(i))]}

这种形式有点像是$-\log (SoftMax)$。这体现了作者提出误差函数模型的统一性。它既可以转换为SoftMax，也能转化为Triple Loss（这篇博客没有列出来），一统江湖。

作者给出的Circle Loss的Form-A如下所示：

$L_{circ,i}=\log (1+{\sum }_{j\ne i}^M\exp [\gamma {\alpha }_n^j{s}_n^j(i)]\cdot \exp [-\gamma {\alpha }_p{s}_p(i)])$

跟$L_{un,i}$多了些$\alpha$类的参数。这些参数的定义如下所示：

${\alpha }_n^j=[O_n-s_n^j(i){]}_{+}$
${\alpha }_p=[O_p-s_p(i){]}_{+}$

参数$O_n$和$O_p$是对应$s_n^j(i)$和$s_p(i)$的优化后的理想值，即$O_n=0$和$O_p=1$。

作者然后给出Circle Loss的Form-B如下所示：

$L_{circ,i}=\log (1+{\sum }_{j\ne i}^M\exp [\gamma {\alpha }_n^j(s_n^j(i)-{\Delta }_n)]\cdot \exp [-\gamma {\alpha }_p(s_p(i)-{\Delta }_p)])$

${\Delta }_n$和${\Delta }_p$是自己设置的阈值参数。

Circle Loss这篇论文的理论还是挺深的。这篇博客只是做一个入门的导读分析。Circle Loss背后的理论有时间再去详细分析吧。

6. 结语

一点一点去研究深度学习的理论吧。慢慢来。