机器学习的几种分类损失函数

1. 机器学习的几种分类损失函数

1.1 信息量

• 信息量也叫做香农信息量，常用于$刻画消除随机变量X在x处的不确定性所需的信息量$。
• 假设连续型随机变量，设$p$为随机变量$X$的概率分布，即$p(x)$为随机变量$X$在$X=x$处的概率密度函数值，随机变量$X$在$x$处的香农信息量定义为：
  $$I(x)=-\log p(x)=\log \frac{1}{p(x)}\text{\hspace{1em}(1.1)}$$

1.2 信息熵

• 信息熵用于$刻画消除随机变量X的不确定性所需要的总体信息量$。
• 信息熵是衡量随机变量$X$在整个样本空间的总体香农信息量，即香农信息量$\log p(x)$的数学期望信息熵的定义如下：
  $$H(p)=H(X)=E_{xp(x)}[-logp(x)]=-{\int }_{}^{}p(x)logp(x)dx\text{\hspace{1em}(1.2)}$$

1.3 交叉熵

• 假设$q(x)$是用来拟合$p(x)$的概率分布，$x$属于$P$的样本空间，交叉熵用于衡量$Q$在拟合$P$的过程中，用于$刻画消除不确定性而充分使用的信息量$。常作为神经网络的损失函数使用。

• 由于在每一个点$X=x$处$q$的香农信息量为$-\log q(x)$，即衡量$Q$在$X=x$处为了拟合$P$所作的努力。

• 因此可以计算出在整个样本空间上$Q$消除不确定性所使用的总体信息量，即$-\log q(x)$的数学期望，由于每个$x$的权重为$p(x)$，因此交叉熵$H(p,q)$的定义为：
  $$H(p,q)=\sum p(x)log\frac{1}{q(x)}\text{\hspace{1em}(1.3)}$$

• 优点：使用逻辑函数得到概率，并结合交叉熵当损失函数时，在模型效果差的时候学习速度比较快，在模型效果好的时候学习速度变慢。

• 缺点：

  • 1、随着分类数目的增大，分类层的线性变化矩阵参数也随着增大；
  • 2、对于封闭集分类问题，学习到的特征是可分离的，但对于开放集人脸识别问题，所学特征却没有足够的区分性。

    对于人脸识别问题，首先人脸数目(对应分类数目)是很多的，而且会不断有新的人脸进来，不是一个封闭集分类问题。

  • sigmoid(softmax)+cross-entropy loss 擅长于学习类间的信息，因为它采用了类间竞争机制，它只关心对于正确标签预测概率的准确性，忽略了其他非正确标签的差异，导致学习到的特征比较散。

    这个问题的优化有很多，比如对softmax进行改进，如L-Softmax、SM-Softmax、AM-Softmax等。

1.4 KL散度

• KL散度也叫相对熵，用于$刻画概率分布q拟合概率分布p的程度$。
  • $p$为真实数据的概率分布，$q$为随机噪声生成数据的概率分布；
  • 生成对抗网络中$q$分布拟合$p$分布的过程中：
    • 如果$q完全拟合p$，则$H(p)=H(p,q)$；
    • 如果$q拟合p不充分$，则产生的信息损耗$H(p)-H(p,q)$就是$p$和$q$的KL散度。
• $p和q的相对熵D(p||q)$为$信息熵H(p)与交叉熵H(p,q)的差$，KL散度是用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的比特个数。KL散度的定义为：
  $$H(p)-H(p,q)=-{\int }_{}^{}p(x)logp(x)dx-(-{\int }_{}^{}p(x)logq(x)dx)\text{\hspace{1em}(1.4)}$$
  $$D(p||q)=\sum P(x)log\frac{P(x)}{Q(x)}\text{\hspace{1em}(1.5)}$$

3.5 JS散度

• 由于KL散度并不是一个真正的度量或距离函数，存在不对称的缺点 ，故引出JS散度。
• JS散度的$值域范围是[0,1]$，相同为0，相反为1。
• JS散度具有对称性$JS(P||Q)=JS(Q||P)$ 。其定义为：
  $$JS(P||Q)=\frac{1}{2}KL(P(x)||\frac{P(x)+Q(x)}{2})+\frac{1}{2}KL(Q(x)||\frac{P(x)+Q(x)}{2})\text{\hspace{1em}(1.6)}$$
• JS散度的缺陷：当$两个分布完全不重叠时$，即便两个分布的中心距离有多近，其JS散度都是一个常数，以至于$梯度为0，无法更新$。

1.6 Wasserstein距离

3.6.1 介绍

1. 由于KL散度和JS散度存在同一个问题，如果p分布和q分布相距很远完全没有重叠，则会导致梯度消失，故引出了Wasserstein距离。
2. Wasserstein距离的起源是optimal transport problem，把概率分布想象成一堆石子，如何移动一堆石子，通过最小的累积移动距离把它堆成另外一个目标形状，这就是optimal transport所关心的问题。
3. 前提: 确保本来的这一堆石子的总质量要和目标石子堆总质量一样；考虑到概率分布的归一化条件，这一点是自然被满足的。

1.6.2 数学表示

1. 引子
   1. 假设地面上$\mathcal{X}={\mathbb{R}}^2$堆了一些石子，石子的分布用$\mu :\mathcal{X}\to \mathbb{R}$来表示。
   2. 采取同样的表示方法，地面上的任意一块面积$A\subseteq \mathcal{X}$，$\mu (A)$表示这块面积上放置的石子质量。
   3. 定义目标石子堆的分布为$\nu$，定义一个输运方案$T:\mathcal{X}\to \mathcal{X}$把现有的石子堆变成目标石子堆。 $T(A)=B$表示把放在A处的石子都运到B处，类似地可以定义反函数$T^{-1}(B)=A$。
   4. 该输运方案成立需要满足$\nu (B)=\mu (T^{-1}(B)),\forall B\subseteq \mathcal{X}$，即任意位置的石子通过输运过后都刚好满足分布$\mu$的要求。
   5. 两堆石子之间的距离可以被定义成把一堆石子挪动成另外一堆所需要的$最小输运成本$可以写成：
      $$W_p(\mu ,\nu )={\left(\underset{\gamma \in \Gamma (\mu ,\nu )}{\inf }{\int }_{\mathcal{X}\times \mathcal{X}}||x-y|{|}^{p}d\gamma (x,y)\right)}^{1/p}\text{\hspace{1em}(1.7)}$$
      其中$\inf$指代最大下界，$\gamma$是一个联合概率分布，称coupling，它要求其边缘分布刚好是$\mu$ 和$\nu$，即$\gamma (A\times \mathcal{X})=\mu (A)$，$\gamma (\mathcal{X}\times B)=\nu (B)$；

      联合概率分布是很难实际成为真实的optimal coupling的，一般来讲optimal coupling都会比较稀疏。排除少数不可分的情况，大多数的optimal coupling都是稀疏的，即$\gamma (A\times B)=\mu (A\cap T^{-1}(B))$。

2. 定义
   • 把面积转换成概率，则：概率分布$p(x)$转变成 $q(x)$，设距离函数（转移成本）为$d(x,y)$，那么 Wasserstein 距离定义为：
     $$\mathcal{W}[p,q]=\underset{\gamma \in \Pi [p,q]}{\inf }\iint \gamma (x,y)d(x,y)\mathrm{d}x\mathrm{d}y\text{\hspace{1em}(1.8)}$$
     $\gamma \in \Pi [p,q]$指的是$p,q$的联合分布。从而，求两个分布$p(x)$和$q(x)$的Wasserstein距离本质上是一个优化问题：
     $$\begin{array}{l}\underset{\gamma \in \Pi [p,q]}{\inf }\iint \gamma (x,y)d(x,y)\mathrm{d}x\mathrm{d}y\\ \text{ s.t. }\{\begin{array}{l}\int \gamma (x,y)\mathrm{d}y=p(x)\\ \int \gamma (x,y)\mathrm{d}x=q(y)\\ \gamma (x,y)⩾0\end{array}\end{array}\text{\hspace{1em}(1.9)}$$
   • 公式(1.9)的对偶问题则是：
     • 对于第一个约束条件，每一个$x$ 都有一个对偶变量，假设这个对偶变量是$x$的函数，设为$f(x)$，对偶变量与等式约束乘起来求和，就转变成积分；
     • 接着我们把第二个约束条件的对偶变量设成$g(x)$，于是，公式(3.8)的对偶函数就是：
       $$\begin{gathered} \underset{\gamma (x,y)⩾0}{\inf }\iint \gamma (x,y)d(x,y)\mathrm{d}x\mathrm{d}y+\int f(x)\left[p(x)-\int \gamma (x,y)\mathrm{d}y\right]\mathrm{d}x \\ +\int g(y)\left[q(y)-\int \gamma (x,y)\mathrm{d}x\right]\mathrm{d}y\text{\hspace{1em}(1.10)} \end{gathered}$$
       整理可得：
       $$\begin{gathered} \underset{\gamma (x,y)⩾0}{\inf }\int f(x)p(x)\mathrm{d}x+\int g(y)q(y)\mathrm{d}y \\ +\iint \gamma (x,y)\left[d(x,y)-f(x)-g(y)\right]\mathrm{d}x\mathrm{d}y\text{\hspace{1em}(1.11)} \end{gathered}$$
       若$d(x,y)-f(x)-g(y)⩽0$，则可取适当的$\gamma (x,y)⩾0$使得上式无穷小，所以公式(3.10)可以写成：
       $$\begin{array}{rl}\underset{f,g}{\sup }& \int [f(x)p(x)+g(x)q(x)]dx\\ \text{s.t.}& f(x)+g(y)\le d(x,y)\end{array}\text{\hspace{1em}(1.12)}$$
       $\sup$表示最小上界。只要强对偶关系成立，则有：
       $$\mathcal{W}[p,q]=\underset{f,g}{\sup }\left\{\int [p(x)f(x)+q(x)g(x)]dx\mid f(x)+g(y)\le d(x,y)\right\}\text{\hspace{1em}(1.13)}$$
       因为$d(x,x)=0$，所以$g(x)=-f(x)$，最终形式：
       $$\mathcal{W}[p,q]=\underset{f}{\sup }\left\{\int [p(x)f(x)-q(x)f(x)]\mathrm{d}x\mid f(x)-f(y)\le d(x,y)\right\}\text{\hspace{1em}(1.14)}$$
       一般$d(x,y)=\Vert x-y{\Vert }_t$会选取成欧式空间的$t$范数，我们称之为type-t Wasserstein Distance。可写成：
       $$W(p,q)={\left\{\underset{\gamma \in \Gamma (p,q)}{\inf }{\iint }_{\gamma (x,y)}||x-y|{|}^{t}d\gamma (x,y)\right\}}^{1/t}\text{\hspace{1em}(1.15)}$$

3.6.3 例子

3.6.4 优点

1. 能够很自然地度量离散分布和连续分布之间的距离；
2. 不仅给出了距离的度量，而且给出如何把一个分布变换为另一分布的方案；
3. 能够连续地把一个分布变换为另一个分布，在此同时，能够保持分布自身的几何形态特征。
4. 基于Wasserstein距离可以找出Wasserstein平均（Wasserstein barycenter），相比于欧式平均（Eulidean average）来说，它更能够描述其形态特征。

参考：

1. 【数学】Wasserstein Distance
2. Wasserstein距离
3. 信息量、信息熵、交叉熵、KL散度、JS散度、Wasserstein距离
4. Panaretos, Victor M., and Yoav Zemel. “Statistical aspects of Wasserstein distances.” Annual Review of Statistics and Its Application (2018).
5. Optimal Transport and Wasserstein Distance (slides)
6. 令人拍案叫绝的Wasserstein GAN