深度学习笔记:详解交叉熵损失函数

欢迎Star我的Machine Learning Blog:https://github.com/purepisces/Wenqing-Machine_Learning_Blog。

交叉熵损失

交叉熵损失是用于基于概率的分类问题最常用的损失函数之一。

交叉熵损失前向方程

首先，我们使用softmax函数将原始模型输出$A$转换成由输入数值的指数决定的$C$类的概率分布。

${\iota }_N$、${\iota }_C$是大小为$N$和$C$的列向量，包含全部为1的值。

$$\text{softmax}(A)=\sigma (A)=\frac{\exp (A)}{\sum _{j=1}^C\exp (A_{ij})}$$

现在，A的每一行代表模型对概率分布的预测，而Y的每一行代表一个输入的目标分布。
然后，我们计算分布Ai相对于目标分布Yi的交叉熵H(A,Y)，对于i = 1,…,N：

$$\text{crossentropy}=H(A,Y)=(-Y\odot \log (\sigma (A)))\cdot {\iota }_C$$

记住，损失函数的输出是一个标量，但现在我们有一个大小为N的列矩阵。要将其转换为标量，我们可以使用所有交叉熵的和或平均值。

这里，我们选择使用平均交叉熵作为交叉熵损失，这也是PyTorch的默认设置：

$$\text{sumcrossentropyloss}:={\iota }_N^T\cdot H(A,Y)=SCE(A,Y)$$

$$\text{meancrossentropyloss}:=\frac{SCE(A,Y)}{N}$$

交叉熵损失反向方程

$$\text{xent.backward}()=\frac{\sigma (A)-Y}{N}$$

梯度的推导（我的证明）

要找到交叉熵损失相对于对数几率$A_i$的梯度，我们需要计算导数$\frac{\partial H}{\partial A_i}$。这涉及到应用链式法则到对数和softmax函数的复合中。

注意对于一个对数几率$A_{ic}$，softmax函数定义为：

$$\sigma (A_{ic})=\frac{e^{A_{ic}}}{\sum _{j=1}^C{e}^{A_{ij}}}$$

步骤1：应用链式法则

首先，注意我们需要对一个复合函数的导数应用链式法则，这个复合函数是softmax输出的对数：

$$H(A_i,Y_i)=-\sum _{c=1}^C{Y}_{ic}\log (\sigma (A_{ic}))$$

$$\begin{array}{rl}\frac{\partial H}{\partial A_{ic}}& =\frac{\partial (-Y_{i1}\log (\sigma (A_{i1}))-Y_{i2}\log (\sigma (A_{i2}))-...-Y_{iC}\log (\sigma (A_{iC})))}{\partial A_{ic}}\\ & =\frac{\partial (-Y_{i1}\log (\sigma (A_{i1})))}{\partial A_{ic}}+\frac{\partial (-Y_{i2}\log (\sigma (A_{i2})))}{\partial A_{ic}}+...+\frac{\partial (-Y_{iC}\log (\sigma (A_{iC})))}{\partial A_{ic}}\\ & =-Y_{i1}\frac{\partial \log (\sigma (A_{i1}))}{\partial A_{ic}}-Y_{i2}\frac{\partial \log (\sigma (A_{i2}))}{\partial A_{ic}}-...-Y_{iC}\frac{\partial \log (\sigma (A_{iC}))}{\partial A_{ic}}\\ & =-\sum _{k=1}^C{Y}_{ik}\frac{\partial \log (\sigma (A_{ik}))}{\partial A_{ic}}\end{array}$$

$$\frac{\partial H}{\partial A_{ic}}=-\sum _{k=1}^C{Y}_{ik}\frac{\partial \log (\sigma (A_{ik}))}{\partial A_{ic}}$$

步骤2：Softmax的对数的导数

$\log (\sigma (A_{ik}))$关于$A_{ic}$的导数涉及两种情况：当$k=c$和当$k\ne c$时。

当$k=c$时，使用对数的导数$\frac{\partial \log (x)}{\partial x}=\frac{1}{x}$和softmax的定义，我们得到：

$$\begin{array}{rl}\frac{\partial \log (\sigma (A_{ik}))}{\partial A_{ic}}& =\frac{\partial \log (\sigma (A_{ic}))}{\partial \sigma (A_{ic})}\cdot \frac{\partial \sigma (A_{ic})}{\partial A_{ic}}\\ & =\frac{1}{\sigma (A_{ic})}\cdot \sigma (A_{ic})\cdot (1-\sigma (A_{ic}))\\ & =1-\sigma (A_{ic})\end{array}$$

当$k\ne c$时，导数涉及不同类的softmax函数，结果是：

$$\begin{array}{rl}\frac{\partial \log (\sigma (A_{ik}))}{\partial A_{ic}}& =\frac{\partial \log (\sigma (A_{ik}))}{\partial \sigma (A_{ic})}\cdot \frac{\partial \sigma (A_{ic})}{\partial A_{ic}}\\ & =\frac{1}{\sigma (A_{ik})}\cdot -\sigma (A_{ik})\cdot \sigma (A_{ic})\\ & =-\sigma (A_{ic})\end{array}$$

步骤3：合并情况

由于$Y_i$对于真实类别只能为1，否则为0，这简化为：

$$\begin{array}{rl}\frac{\partial H}{\partial A_{ic}}& =-\sum _{k=1}^C{Y}_{ik}\frac{\partial \log (\sigma (A_{ik}))}{\partial A_{ic}}\\ & =or\{\begin{array}{ll}-1(1-\sigma (A_{ic}))=\sigma (A_{ic})-1,& \text{for }{Y}_{ic}=0\\ -1(-\sigma (A_{ic}))=\sigma (A_{ic})-0,& \text{for }{Y}_{ic}=1\end{array}\\ & =\sigma (A_{ic})-Y_{ic}\end{array}$$

示例

让我给出一个具体的例子来说明它：

示例 1

考虑这个案例 $Y=[1,0,0]$ 和 $A=[2,1,-1]$。

$Y_{11}=1,Y_{12}=0,Y_{13}=0$
$A_{11}=2,A_{12}=1,A_{13}=-1$

然后当计算

$$\begin{array}{rl}\frac{\partial H}{\partial A_{13}}& =-\sum _{k=1}^C{Y}_{1k}\frac{\partial \log (\sigma (A_{1k}))}{\partial A_{13}}\\ & =-Y_{11}\frac{\partial \log (\sigma (A_{11}))}{\partial A_{13}}-Y_{12}\frac{\partial \log (\sigma (A_{12}))}{\partial A_{13}}-Y_{13}\frac{\partial \log (\sigma (A_{13}))}{\partial A_{13}}\\ & =-1(-\sigma (A_{13}))-0-0\\ & =\sigma (A_{13})-0\\ & =\sigma (A_{13})-Y_{13}\end{array}$$

示例 2

考虑这个案例 $Y=[0,0,1]$ 和 $A=[2,1,-1]$。

$Y_{11}=0,Y_{12}=0,Y_{13}=1$
$A_{11}=2,A_{12}=1,A_{13}=-1$

然后当计算

$$\begin{array}{rl}\frac{\partial H}{\partial A_{13}}& =-\sum _{k=1}^C{Y}_{1k}\frac{\partial \log (\sigma (A_{1k}))}{\partial A_{13}}\\ & =-Y_{11}\frac{\partial \log (\sigma (A_{11}))}{\partial A_{13}}-Y_{12}\frac{\partial \log (\sigma (A_{12}))}{\partial A_{13}}-Y_{13}\frac{\partial \log (\sigma (A_{13}))}{\partial A_{13}}\\ & =-0-0-1(1-\sigma (A_{13}))\\ & =\sigma (A_{13})-1\\ & =\sigma (A_{13})-Y_{13}\end{array}$$

梯度的推导（YouTube的证明）

• Softmax函数是一个向量。
• 每个元素$\frac{e^{z_k}}{\sum _{c=1}^C{e}^{z_c}}$由于分母的原因依赖于所有输入元素。
• 向量关于向量的梯度是一个矩阵。
• 为了简化和巩固这个概念，让我们通过查看一个大小为$3$的向量来使其更具体：

$$\left(\begin{array}{c}{z}_1\\ z_2\\ z_3\end{array}\right)\to \left(\begin{array}{c}\frac{e^{z_1}}{e^{z_1}+e^{z_2}+e^{z_3}}\\ \frac{e^{z_2}}{e^{z_1}+e^{z_2}+e^{z_3}}\\ \frac{e^{z_3}}{e^{z_1}+e^{z_2}+e^{z_3}}\end{array}\right)=\left(\begin{array}{c}{a}_1\\ a_2\\ a_3\end{array}\right)=\left(\begin{array}{c}\widehat{y_1}\\ \widehat{y_2}\\ \widehat{y_3}\end{array}\right)$$

矩阵的对角元素会发生什么？我们有导数关于分子中相同元素。例如，对于$\frac{\partial a_1}{\partial z_1}$我们得到：

$$\frac{\partial a_1}{\partial z_1}=\frac{e^{z_1}(e^{z_1}+e^{z_2}+e^{z_3})-e^{z_1}{e}^{z_1}}{(e^{z_1}+e^{z_2}+e^{z_3})(e^{z_1}+e^{z_2}+e^{z_3})}=\frac{e^{z_1}}{e^{z_1}+e^{z_2}+e^{z_3}}\cdot \frac{e^{z_1}+e^{z_2}+e^{z_3}-e^{z_1}}{e^{z_1}+e^{z_2}+e^{z_3}}=a_1(1-a_1)$$

所以我们得到了非常接近于sigmoid导数的东西。

对角线元素以外的元素会发生什么？例如，对于$\frac{\partial a_1}{\partial z_2}$我们得到：

$$\frac{\partial a_1}{\partial z_2}=\frac{0\cdot (e^{z_1}+e^{z_2}+e^{z_3})-e^{z_1}{e}^{z_2}}{(e^{z_1}+e^{z_2}+e^{z_3}{)}^2}=-\frac{e^{z_1}}{e^{z_1}+e^{z_2}+e^{z_3}}\cdot \frac{e^{z_2}}{e^{z_1}+e^{z_2}+e^{z_3}}=-a_1{a}_2$$

对于我们的3x3矩阵，我们将得到：

$$\frac{\partial \mathbf{a}}{\partial \mathbf{z}}=\left(\begin{array}{ccc}{a}_1(1-a_1)& -a_1{a}_2& -a_1{a}_3\\ -a_2{a}_1& a_2(1-a_2)& -a_2{a}_3\\ -a_3{a}_1& -a_3{a}_2& a_3(1-a_3)\end{array}\right)$$

对于损失相对于最终输出的导数 - 我们有一个标量相对于向量的导数，所以结果也将是一个向量：

$$\frac{\partial \mathcal{L}}{\partial a_L}=\left[\begin{array}{c}\frac{\partial }{\partial a_{L1}}\left(-\sum _{c=1}^C{y}_c\log a_{Lc}\right)\\ ⋮\\ \frac{\partial }{\partial a_{LC}}\left(-\sum _{c=1}^C{y}_c\log a_{Lc}\right)\end{array}\right]=-\left[\begin{array}{c}\frac{y_1}{a_{L1}}\\ ⋮\\ \frac{y_C}{a_{LC}}\end{array}\right]$$

记住对于每个1-hot向量$y$，我们只有一个元素等于1，其余都是0。

回到我们具体的$3\times 3$例子，并把所有东西放在一起，我们得到：

$$\begin{array}{rl}\frac{\partial \mathcal{L}}{\partial z_L}& =\frac{\partial \mathcal{L}}{\partial a_L}\frac{\partial a_L}{\partial z_L}\\ & =-\left[\begin{array}{c}\frac{y_1}{a_1}\\ \frac{y_2}{a_2}\\ \frac{y_3}{a_3}\end{array}\right]\left(\begin{array}{ccc}{a}_1(1-a_1)& -a_1{a}_2& -a_1{a}_3\\ -a_2{a}_1& a_2(1-a_2)& -a_2{a}_3\\ -a_3{a}_1& -a_3{a}_2& a_3(1-a_3)\end{array}\right)\\ & =-\left[\begin{array}{ccc}{y}_1-a_1(y_1+y_2+y_3)& y_2-a_2(y_1+y_2+y_3)& y_3-a_3(y_1+y_2+y_3)\end{array}\right]\\ & =\mathbf{a}-\mathbf{y}\end{array}$$

注意这里的$\mathbf{a}$和$\mathbf{y}$是向量，而不是标量。

交叉熵损失的示例

为了说明交叉熵损失，让我们考虑一个具体的例子，用一个小数据集。假设我们有一个简单的分类问题，有三个类别（C=3），我们正在处理两个样本的批次（$N=2$）。这两个样本的模型原始输出分数（$A$）和相应的真实标签（$Y$）可能如下所示：

• 两个样本的原始模型输出（$A$）：

  • 样本 1: $[2.0,1.0,0.1]$
  • 样本 2: $[0.1,2.0,1.9]$

• 真实类别分布（$Y$，独热编码）：

  • 样本 1: $[0,1,0]$ （类别 2 是真实类别）
  • 样本 2: $[1,0,0]$ （类别 1 是真实类别）

让我们逐步计算这个例子的交叉熵损失：

1. 应用 Softmax

首先，我们对原始输出应用 softmax 函数，以获得每个类别的预测概率。

对于样本 1，softmax 计算如下：
$$\sigma (A_1)=\left[\frac{e^{2.0}}{e^{2.0}+e^{1.0}+e^{0.1}},\frac{e^{1.0}}{e^{2.0}+e^{1.0}+e^{0.1}},\frac{e^{0.1}}{e^{2.0}+e^{1.0}+e^{0.1}}\right]$$

对于样本 2，类似地：
$$\sigma (A_2)=\left[\frac{e^{0.1}}{e^{0.1}+e^{2.0}+e^{1.9}},\frac{e^{2.0}}{e^{0.1}+e^{2.0}+e^{1.9}},\frac{e^{1.9}}{e^{0.1}+e^{2.0}+e^{1.9}}\right]$$

2. 计算交叉熵损失

接下来，我们计算每个样本的交叉熵损失。单个样本的损失由下式给出：
$$H(A_i,Y_i)=-\sum _{c=1}^C{Y}_{ic}\log (\sigma (A_{ic}))$$

对于样本 1：
$$H(A_1,Y_1)=-[0\times \log (\sigma (A_{11}))+1\times \log (\sigma (A_{12}))+0\times \log (\sigma (A_{13}))]$$

对于样本 2：
$$H(A_2,Y_2)=-[1\times \log (\sigma (A_{21}))+0\times \log (\sigma (A_{22}))+0\times \log (\sigma (A_{23}))]$$

3. 计算平均交叉熵损失

最后，我们计算这些损失的平均值，以得到批次的平均交叉熵损失：
$$\text{meancrossentropyloss}=\frac{H(A_1,Y_1)+H(A_2,Y_2)}{2}$$

4. 交叉熵损失的反向传播

对于反向传播，交叉熵损失相对于应用 softmax 之前的原始模型输出的梯度由下式给出：
$$\frac{\partial \text{Loss}}{\partial A}=\frac{\sigma (A)-Y}{N}$$

对于批次中的每个样本，我们计算：

• 对于样本 1: $\frac{\sigma (A_1)-Y_1}{2}$
• 对于样本 2: $\frac{\sigma (A_2)-Y_2}{2}$

这给了我们需要通过网络反向传播的梯度。

基于计算：

• 两个样本的 softmax 概率大约为：

  • 样本 1: $[0.659,0.242,0.099]$
  • 样本 2: $[0.073,0.487,0.440]$

• 两个样本的交叉熵损失为：

  • 样本 1: 1.417
  • 样本 2: 2.620

• 这个批次的平均交叉熵损失大约为 2.019。

• 损失相对于原始模型输出（$A$）的梯度为：

  • 对于样本 1: $[0.330,-0.379,0.049]$
  • 对于样本 2: $[-0.464,0.243,0.220]$

这些结果给出了我们使用 softmax 函数得到的每个类别的预测概率，每个样本的个别交叉熵损失，批次的整体平均交叉熵损失，以及反向传播所需的梯度。梯度中的负值指示了我们应该调整模型参数以减少损失的方向，而正值则建议相反的方向。

class CrossEntropyLoss:
    def softmax(self, x):
        # 通过在每个输入向量中减去最大值来改善 softmax 的数值稳定性。
        # 这通过指数化大的正数来防止潜在的溢出。
        e_x = np.exp(x - np.max(x, axis=1, keepdims=True))
        return e_x / e_x.sum(axis=1, keepdims=True)

    def forward(self, A, Y):
        self.A = A
        self.Y = Y
        self.softmax = self.softmax(A)
        crossentropy = -Y * np.log(self.softmax)
        # 在批次上平均损失
        L = np.sum(crossentropy) / A.shape[0]
        return L

    def backward(self):
        # 计算损失相对于对数（预 softmax 激活）A的梯度
        # 这个梯度还包括在批次上的平均
        dLdA = (self.softmax - self.Y) / self.A.shape[0]
        return dLdA

参考资料:

• 在YouTube上观看视频
• CMU_11785_Introduction_To_Deep_Learning