【数学基础】交叉熵损失函数与Softmax

一、二分类交叉熵损失

• $L=\frac{1}{n}{\sum }_i^n{L}_i$ （备注：$L_i$ 表示第 $i$ 个样本计算的损失 $loss$）
• $L_i=-[y_i\log (p_i)+(1-y_i)\log (1-p_i)]$

其中：

• $y_i$ — 表示样本 $i$ 的label，正类为 $1$ ，负类为 $0$
• $p_i$ — 表示样本 $i$ 预测为正类的概率，同理 $(1-p_i)$ 则为样本预测为负类的概率

下面对以上公式进行简化：

• 当样本 $y_i$ 的label为1时：$L_i=-y_i\log (p_i)$
• 当样本 $y_i$ 的label为0时：$L_i=-(1-y_i)\log (1-p_i)$
  

由图片可推得：

• 若 $y_i$ 为1，则 $p_i$ 越大，$loss$越小，反之$p_i$ 越小，$loss$越大；
• 若 $y_i$ 为0，则 $p_i$ 越小，$1-p_i$ 则越小，$loss$越大，反之亦然；

小结：交叉熵损失的特点就是当$y_i$与$p_i$ 非常接近时，$loss$ 会很小，而当$y_i$与$p_i$ 相差非常大时，$loss$ 会非常大。这是由 $\log$ 对数函数的性质决定的。

二、多分类交叉熵损失

多分类的交叉熵损失是对二分类的一个扩展，公式如下：
$$L=\frac{1}{n}\sum _i^n{L}_i$$
$$L_i=-\sum _c^M{y}_i{}_c\log p_i{}_c$$

其中：

• $M$ — 类别数量
• $y_i{}_c$ — 符号函数（ 表示 $0$ 或 $1$ ），如果样本 $i$ 的真实类别等于 $c$ 则$y_i{}_c$取 $1$ ，否则取 $0$
• $p_i{}_c$ — 观测样本 $i$ 属于类别 $c$ 的预测概率

下面我们利用这个表达式去计算一下模型的 $Loss$：

• $L_1=-（0\times \log 0.3+0\times \log 0.3+1\times \log 0.4）=0.91$
• $L_2=-（0\times \log 0.3+1\times \log 0.4+0\times \log 0.3）=0.91$
• $L_3=-（1\times \log 0.1+0\times \log 0.2+0\times \log 0.7）=2.30$

对 $loss$ 求均值：

• $L=\frac{0.91+0.91+2.30}{3}=1.37$

三、Softmax函数

概述

softmax函数，又称归一化指数函数，它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。
基于概率的两个性质：

1. 预测的概率为非负数
2. 种预测结果概率之和等于1。
   

softmax就是将在负无穷到正无穷上的预测结果按照这两步转换为概率。

$$p(y|x)=\frac{e^{f_y}}{{\sum }_{c=1}^C{e}^{f_y}}$$

• 分子：通过指数函数，将实数输出映射到零到正无穷；
• 分母：将所有结果相加，进行归一化。