深度学习笔记:详解激活函数

欢迎Star我的Machine Learning Blog:https://github.com/purepisces/Wenqing-Machine_Learning_Blog。

激活函数

我使用 relu.md 来阐述激活函数 ReLU 的主要思想。

概述

在机器学习领域，工程师可以自由选择任何可微分函数作为激活函数。在神经网络中引入非线性元素 ($f_{NN}$) 对于模拟非线性现象至关重要。在缺乏激活函数的情况下，$f_{NN}$ 的输出始终保持线性，不受其深度的影响，这是因为方程 $A\cdot W+b$ 的固有线性性质。

激活函数可以接受标量或向量参数。标量激活函数将函数应用于单个数字。标量激活函数分别应用于向量的每个元素，保持每个输入及其相应输出之间的直接关系，从而简化导数的计算。常见的标量激活函数选择包括 Sigmoid、ReLU、Tanh 和 GELU，如下图所示。

标量激活函数

如果激活函数逐元素地应用于 $Z$ 的每个单独元素，独立处理每个 $z_{ij}$，那么它就是一个标量激活函数。例如，将 ReLU 函数应用于 $Z$ 的每个元素将是一个标量操作：

示例：

$$\text{ReLU}(Z)=\left(\begin{array}{cc}\max (0,z_{11})& \max (0,z_{12})\\ \max (0,z_{21})& \max (0,z_{22})\\ \max (0,z_{31})& \max (0,z_{32})\end{array}\right)$$

在这种情况下，每个元素 $z_{ij}$ 被独立处理，输出矩阵的形状与 $Z$ 相同，但激活函数（在本例中为 ReLU）应用于每个元素。

导数简化

在像 ReLU 这样的标量激活函数中的一一对应关系简化了导数计算：

• 对于 $x1=-1$，导数 $ReL{U}^{\prime }(x1)=0$，因为 $x1$ 是负数。
• 对于 $x2=5$，导数 $ReL{U}^{\prime }(x2)=1$，因为 $x2$ 是正数。
• 对于 $x3=-3$，导数 $ReL{U}^{\prime }(x3)=0$，由于 $x3$ 是负数。

这种逐元素的方法允许直接计算导数，这是通过反向传播进行神经网络优化的关键方面。

逐元素导数

术语 “逐元素导数” 指的是针对函数输出的每个元素与其对应的输入元素独立计算的导数。这个概念广泛应用于应用于向量或矩阵的函数，例如神经网络中的激活函数。

当计算激活函数输出 $A$ 相对于其输入 $Z$ 的逐元素导数时，我们针对输出矩阵 $A$ 中的每个条目 $a_{ij}$ 分别计算其对应的输入矩阵 $Z$ 中的条目 $z_{ij}$ 的导数，其中 $i$ 和 $j$ 分别表示行和列索引。

通过示例进行说明

考虑一个简单的示例，使用一个向量输入和 ReLU 激活函数，定义为 $\text{ReLU}(x)=\max (0,x)$。

对于一个输入向量 $Z=[z_1,z_2,z_3]$，ReLU 函数产生一个输出向量 $A=[a_1,a_2,a_3]$，其中 $a_i=\max (0,z_i)$，对于 $i=1,2,3$。

$A$ 相对于 $Z$ 的逐元素导数为：

$\frac{\partial A}{\partial Z}=\left[\frac{\partial a_1}{\partial z_1},\frac{\partial a_2}{\partial z_2},\frac{\partial a_3}{\partial z_3}\right]$

对于 ReLU 函数，当 $z_i>0$ 时，这个导数为 1（表示 $z_i$ 的微小增加导致 $a_i$ 的相等增加），当 $z_i\le 0$ 时，导数为 0，因为 $a_i$ 保持为 $0$，不受 $z_i$ 变化的影响。

在神经网络中的重要性

在神经网络的背景下，特别是在反向传播过程中，逐元素导数在权重更新中发挥着关键作用。它使网络能够理解每个权重的微小变化如何影响总体损失，从而使梯度下降算法能够有效地最小化损失函数。这种个性化的计算确保了每个权重基于其对网络性能的特定贡献而进行优化。

向量激活函数

另一方面，像 Softmax 这样的向量激活函数涉及到输出与所有输入元素之间的相互依赖关系，使得导数计算过程变得复杂。如果激活函数将 $Z$ 的每一行（或列）作为一个整体向量进行处理，并考虑该向量中元素之间的关系，那么它就是一个向量激活函数。一个例子是将 Softmax 函数应用于 $Z$ 的每一行，将每一行视为多类分类问题的对数几率向量。

示例：

考虑一个具有对数几率为 $Z=[2,1,-1]$ 的 3 类分类问题的神经网络输出。应用 Softmax 函数会产生以下概率：

• $\text{Softmax}(z_1)=\frac{e^2}{e^2+e^1+e^{-1}}$
• $\text{Softmax}(z_2)=\frac{e^1}{e^2+e^1+e^{-1}}$
• $\text{Softmax}(z_3)=\frac{e^{-1}}{e^2+e^1+e^{-1}}$

每个输出概率都依赖于所有输入对数几率，显示了向量激活函数的相互关联性。

导数复杂性：

Softmax 函数相对于任何输入 $z_k$ 的导数涉及到偏导数，其中每个输出都依赖于所有输入。这是由于分母中的归一化项包含所有输入的指数项。

例如，Softmax 函数相对于 $z_i$ 的导数为：

• 如果 $i=k$：$\frac{\partial \text{Softmax}(z_i)}{\partial z_k}=\text{Softmax}(z_i)\cdot (1-\text{Softmax}(z_k))$
• 如果 $i\ne k$：$\frac{\partial \text{Softmax}(z_i)}{\partial z_k}=-\text{Softmax}(z_i)\cdot \text{Softmax}(z_k)$

这反映了一个对数几率的增加不仅增加了其对应的概率（假设它是正的），而且由于分母中的共享总和，还会降低其他类别的概率。
这种相互关联性使得像 Softmax 这样的向量激活函数的导数计算相比于像 ReLU 这样的标量激活函数更加复杂。

实现

• 类属性：

  • 激活函数没有可训练的参数。
  • 正向传播期间存储的变量，用于反向传播期间计算导数：层输出 $A$。

• 类方法：

  • $forward$：前向方法接收一批数据 $Z$，其形状为 $N\times C$（代表有 $N$ 个样本，每个样本有 $C$ 个特征），并将激活函数应用于 $Z$ 以计算形状为 $N\times C$ 的输出 $A$。

  • $backward$：反向方法接收 $dLdA$，即后激活（输出）对损失的影响度量。使用这个以及激活函数自身的导数，该方法计算并返回 $dLdZ$，即前激活特征（输入）$Z$ 的变化如何影响损失 $L$。对于标量激活，$dLdZ$ 的计算为：

    $$dLdZ=dLdA\odot \frac{\partial A}{\partial Z}$$

    前向示例：

    为了用一个例子说明这一点，让我们考虑一个简单的情况，我们有 3 个样本的批次（$N=3$）和每个样本有 2 个特征（$C=2$）。所以，我们的输入矩阵 $Z$ 可能看起来像这样：

$$Z=\left(\begin{array}{cc}{z}_{11}& z_{12}\\ z_{21}& z_{22}\\ z_{31}& z_{32}\end{array}\right)$$

应用 ReLU 激活函数，定义为 $ReLU(x)=\max (0,x)$，我们得到输出矩阵 $A$ 如下：

$$A=\left(\begin{array}{cc}\max (0,z_{11})& \max (0,z_{12})\\ \max (0,z_{21})& \max (0,z_{22})\\ \max (0,z_{31})& \max (0,z_{32})\end{array}\right)$$

如你所见，$Z$ 中的每个元素都单独转换以产生 $A$ 中的一个元素，但矩阵的整体形状，在这种情况下为 $3\times 2$，保持不变。

使用 ReLU 激活的反向方法示例

让我们探索使用 ReLU（修正线性单元）激活函数的神经网络中反向方法的一个例子。ReLU 函数定义为 $ReLU(x)=\max (0,x)$。

前向传递

假设我们有一个神经元，它接收输入 $Z$ 并应用 ReLU 激活函数以产生输出 $A$。考虑在前向传递期间单个输入值 $Z=-2$：

$A=ReLU(Z)=\max (0,-2)=0$

反向传递

在反向传递期间，我们计算 $dLdZ$，它代表 $Z$（前激活输入）的变化如何影响损失 $L$，使用 $dLdA$（损失对激活函数输出的梯度）和激活函数的导数 $\frac{\partial A}{\partial Z}$。

ReLU 函数相对于其输入 $Z$ 的导数为：

$$\frac{\partial A}{\partial Z}=\{\begin{array}{ll}1& \text{if }Z>0\\ 0& \text{otherwise}\end{array}$$

对于 $Z=-2$，导数 $\frac{\partial A}{\partial Z}$ 为 $0$，因为 $Z$ 不大于 $0$。

假设反向传递给我们 $dLdA=0.5$，表示后激活输出 $A$ 如何影响损失 $L$。

计算 $dLdZ$

要找到 $dLdZ$，我们使用：

$dLdZ=dLdA\odot \frac{\partial A}{\partial Z}$

代入已知值：

$dLdZ=0.5\odot 0=0$

这个结果意味着在这种情况下，ReLU 函数将负输入夹紧到 $0$，$Z$ 的变化对损失没有影响，如 $dLdZ=0$ 所反映。这是直观的，因为对于 ReLU 的负输入，输出总是 $0$，并且 $Z$ 的轻微变化不影响 $A$ 或损失。

这个例子演示了使用反向方法和标量激活函数计算损失关于前激活输入的梯度。

对于 $dLdZ=dLdA\odot \frac{\partial A}{\partial Z}$，这里，$\frac{\partial A}{\partial Z}$ 表示激活输出 $A$ 关于其对应输入 $Z$ 的逐元素导数。具体地，对于大小为 $1\times C$ 的单个输入，此导数等同于雅可比矩阵的对角线，表达为大小为 $1\times C$ 的向量。这个概念与讲座中提出的理解一致，即标量激活函数的雅可比表现为对角矩阵。当考虑大小为 $N$ 的批次时，$\frac{\partial A}{\partial Z}$ 的维度扩展为 $N\times C$。$\frac{\partial A}{\partial Z}$ 的计算在不同的标量激活函数之间有所不同，如各自的小节中详细介绍的。$\frac{\partial A}{\partial Z}$ 的大小是 $N\times C$，因为我们对每个样本的每个特征都有一个导数值。

理解标量激活函数的雅可比矩阵对角线

为了理解为什么对于一个大小为 $1\times C$ 的单一输入，导数 $\frac{\partial A}{\partial Z}$ 等同于雅可比矩阵的对角线，我们需要探究激活函数上下文中雅可比矩阵的性质。

激活函数中的雅可比矩阵

雅可比矩阵代表了从 ${\mathbb{R}}^n$ 到 ${\mathbb{R}}^m$ 映射的函数的所有一阶偏导数。对于向量值函数 $\mathbf{f}(\mathbf{x})$，其中 $\mathbf{x}\in {\mathbb{R}}^n$ 且 $\mathbf{f}(\mathbf{x})\in {\mathbb{R}}^m$，雅可比矩阵 $J$ 定义为：

$$J=\left(\begin{array}{ccc}\frac{\partial f_1}{\partial x_1}& \cdots & \frac{\partial f_1}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial f_m}{\partial x_1}& \cdots & \frac{\partial f_m}{\partial x_n}\end{array}\right)$$

标量激活函数和雅可比矩阵

当标量激活函数如 ReLU 或 Sigmoid 逐元素应用于向量 $\mathbf{z}=[z_1,\dots ,z_C]$ 时，它们可以被视为一组独立的标量函数 $f_i(z_i)$。在这种情况下，雅可比矩阵具有独特的结构。

ReLU 激活函数的示例

考虑将 ReLU 激活函数应用于输入向量 $\mathbf{z}=[z_1,z_2,z_3]$（对于 $C=3$）。ReLU 函数将 $\mathbf{z}$ 转换为 $\mathbf{A}=[ReLU(z_1),ReLU(z_2),ReLU(z_3)]$。

$ReLU(z)$ 相对于 $z$ 的导数为：

$$\frac{\partial ReLU(z)}{\partial z}=\{\begin{array}{ll}1,& \text{if }z>0\\ 0,& \text{otherwise}\end{array}$$

对于一个所有元素均为正的输入向量 $\mathbf{z}$，$\mathbf{A}$ 相对于 $\mathbf{z}$ 的雅可比矩阵为：

$$J=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)$$

为什么是对角线？

对于逐元素的标量激活，雅可比矩阵的对角线性质产生是因为每个输出元素 $A_i$ 仅依赖于相应的输入元素 $z_i$，使得所有非对角线元素（代表输出相对于不同输入的导数）为零。位于对角线上的非零元素代表每个输出相对于其对应输入的导数，这简化了神经网络中的计算，特别是在反向传播期间。

理解向量激活函数的雅可比矩阵对角线

向量激活函数的雅可比矩阵不是对角矩阵。对于每个大小为 $1\times C$ 的输入向量 $Z^{(i)}$ 及其相应的输出向量 $A^{(i)}$（在批次中也是 $1\times C$），必须单独计算雅可比矩阵 $J^{(i)}$。这个矩阵的维度是 $C\times C$。因此，批次中每个样本的梯度 $dLd{Z}^{(i)}$ 由下式确定：

$$dLd{Z}^{(i)}=dLd{A}^{(i)}\cdot J^{(i)}$$

计算每个 $1\times C$ 向量 $dLd{Z}^{(i)}$ 后，这些向量被垂直堆叠形成最终的 $N\times C$ 矩阵 $dLdZ$，然后返回。

具体来说，向量值函数的雅可比矩阵代表了该函数的输出相对于其输入的所有一阶偏导数的集合。雅可比矩阵中的每个元素都是函数的一个输出分量相对于一个输入分量的偏导数。

在向量值函数 $\mathbf{f}(\mathbf{x})$ 的上下文中，其中 $\mathbf{x}$ 是输入向量，$\mathbf{f}(\mathbf{x})$ 是输出向量，雅可比矩阵 $J$ 定义为：

$$J=\left(\begin{array}{ccc}\frac{\partial f_1}{\partial x_1}& \cdots & \frac{\partial f_1}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial f_m}{\partial x_1}& \cdots & \frac{\partial f_m}{\partial x_n}\end{array}\right)$$

这里，$f_1,f_2,\dots ,f_m$ 是输出向量 $\mathbf{f}(\mathbf{x})$ 的分量，$x_1,x_2,\dots ,x_n$ 是输入向量 $\mathbf{x}$ 的分量。$J$ 中第 $i$ 行第 $j$ 列的元素 $\frac{\partial f_i}{\partial x_j}$ 代表第 $i$ 个输出分量相对于第 $j$ 个输入分量的偏导数。

总之，雅可比矩阵本身是一个导数矩阵，描述了输出向量的每个分量如何随输入向量的每个分量的变化而变化。它不是输入，而是一个描述输出对输入变化的敏感度的数学对象。

在神经网络中使用 Softmax 激活函数的示例

考虑一个神经网络层，批次中有 2 个样本（$N=2$），每个样本有 3 个特征（$C=3$）。这种设置可以代表分类问题中 3 个类的对数值。

我们的输入向量批次 $Z$ 给定为：

$$Z=\left(\begin{array}{cc}{Z}^{(1)}& Z^{(2)}\end{array}\right)=\left(\begin{array}{ccc}1& 2& 3\\ 2& 2& 1\end{array}\right)$$

应用 Softmax 激活

Softmax 被应用于每个样本 $Z^{(i)}$ 以产生输出向量 $A^{(i)}$。向量 $Z^{(i)}$ 中元素 $z_j$ 的 Softmax 函数定义为：

$$\text{Softmax}(z_j)=\frac{e^{z_j}}{\sum _{k=1}^C{e}^{z_k}}$$

将 Softmax 应用于 $Z$ 的每一行后，我们得到：

$$A=\left(\begin{array}{cc}{A}^{(1)}& A^{(2)}\end{array}\right)=\left(\begin{array}{ccc}0.09& 0.24& 0.67\\ 0.42& 0.42& 0.16\end{array}\right)$$

Softmax 的雅可比矩阵

对于 Softmax，单个样本 $A^{(i)}$ 的雅可比矩阵 $J^{(i)}$ 的元素为：

$$J_{jk}^{(i)}=\{\begin{array}{ll}{A}_j^{(i)}(1-A_j^{(i)})& \text{如果 }j=k\\ -A_j^{(i)}{A}_k^{(i)}& \text{其他情况}\end{array}$$

对于我们的第一个样本 $A^{(1)}$，雅可比矩阵 $J^{(1)}$ 将是一个 3x3 矩阵，其中每个元素使用上述规则计算。

计算 $J^{(1)}$

对于第一个样本，$A^{(1)}=[0.09,0.24,0.67]$。

使用 Softmax 导数公式：

$$当j=k时:J_{jj}^{(1)}=A_j^{(1)}(1-A_j^{(1)})$$

$$当j\ne k时:J_{jk}^{(1)}=-A_j^{(1)}{A}_k^{(1)}$$
因此，我们有：

$$J_{11}^{(1)}=0.09\times (1-0.09)=0.0819$$

$$J_{22}^{(1)}=0.24\times (1-0.24)=0.1824$$

$$J_{33}^{(1)}=0.67\times (1-0.67)=0.2211$$

并且对于

$$j\ne k$$

$$J_{12}^{(1)}=J_{21}^{(1)}=-0.09\times 0.24=-0.0216$$

$$J_{13}^{(1)}=J_{31}^{(1)}=-0.09\times 0.67=-0.0603$$
$$J_{23}^{(1)}=J_{32}^{(1)}=-0.24\times 0.67=-0.1608$$

所以，$J^{(1)}$ 是

$$J^{(1)}=\left(\begin{array}{ccc}0.0819& -0.0216& -0.0603\\ -0.0216& 0.1824& -0.1608\\ -0.0603& -0.1608& 0.2211\end{array}\right)$$

同样地

$$J^{(2)}=\left(\begin{array}{ccc}0.2436& -0.1764& -0.0672\\ -0.1764& 0.2436& -0.0672\\ -0.0672& -0.0672& 0.1344\end{array}\right)$$计算梯度 $dLd{Z}^{(i)}$
假设我们有批次激活输出对损失的梯度 dLdA 为：
$$dLdA=\left(\begin{array}{ccc}0.1& -0.2& 0.1\\ -0.1& 0.3& -0.2\end{array}\right)$$

每个样本的梯度 $dLd{Z}^{(i)}$ 通过将 $dLdA$ 的相应行与雅可比矩阵 $J^{(i)}$ 相乘来计算：

$$dLd{Z}^{(i)}=dLd{A}^{(i)}\cdot J^{(i)}$$

这个操作将对每个样本执行，然后将得到的向量 $dLd{Z}^{(1)}$ 和 $dLd{Z}^{(2)}$ 堆叠起来形成整个批次的最终梯度矩阵 $dLdZ$。

具体计算

由于 Softmax 导数的复杂性以及为了简洁，这里省略了 $J^{(1)}$ 和 $J^{(2)}$ 的每个元素的详细计算。然而，通常的过程包括：

分别使用 $A^{(1)}$ 和 $A^{(2)}$ 计算 $J^{(1)}$ 和 $J^{(2)}$。

将 $dLd{A}^{(1)}=[0.1,-0.2,0.1]$ 与 $J^{(1)}$ 相乘得到 $dLd{Z}^{(1)}$。

将 $dLd{A}^{(2)}=[-0.1,0.3,-0.2]$ 与 $J^{(2)}$ 相乘得到 $dLd{Z}^{(2)}$。

将 $dLd{Z}^{(1)}$ 和 $dLd{Z}^{(2)}$ 垂直堆叠形成 $dLdZ$

这个例子说明了使用向量激活函数的层如何计算损失对输入的梯度的过程，其中输入在产生输出时的相互依赖性要求计算每个样本的完整雅可比矩阵。

考虑以下用于标量激活的类结构：

class Activation:
    def forward(self, Z):
        self.A = # TODO
        return self.A
    def backward(self, dLdA):
        dAdZ = # TODO
        dLdZ = # TODO
        return dLdZ

代码名称	数学表示	类型	形状	含义
N	$N$	标量	-	批量大小
C	$C$	标量	-	特征数量
Z	$Z$	矩阵	$N\times C$	由 $C$ 个特征表示的 $N$ 个输入的批次
A	$A$	矩阵	$N\times C$	由 $C$ 个特征表示的 $N$ 个输出的批次
dLdA	$\frac{\partial L}{\partial A}$	矩阵	$N\times C$	后激活特征变化如何影响损失
dLdZ	$\frac{\partial L}{\partial Z}$	矩阵	$N\times C$	前激活特征变化如何影响损失

激活函数的拓扑结构在图一中说明。为了理解其在更广泛的网络架构中的上下文，请参考图二。
注意：在本文档中，我们遵循特定的约定：

• $Z$ 代表线性层的输出。
• $A$ 表示线性层的输入。

在这个框架中，$Z$ 源自前一个线性层的输出，而 $A$ 作为输入供下一个线性层使用。例如，如果 $f_l$ 表示第 $l$ 层的激活函数，则连续层之间 $A$ 和 $Z$ 的关系由下式给出：

$A_{l+1}=f_l(Z_l)$

这个方程强调了，一层的输出 $Z$ 在经过激活函数 $f_l$ 的变换后，成为下一层的输入 $A$。

注意：在反向传递中使用 dLdZ，因为它通过 $Z$ 直接将损失与我们想要优化的参数（权重和偏置）联系起来，因为 $Z=W\cdot A_{prev}+b$，然后由 $A=f(Z)$，其中 $f$ 是激活函数。
在标量激活的情况下，$dLdZ$ 的计算如下：
$$dLdZ=dLdA\odot \frac{\partial A}{\partial Z}$$
在向量激活函数的情况下，$dLdZ$ 的计算为：对于每个大小为 $1\times C$ 的输入向量 $Z^{(i)}$ 及其相应的输出向量 $A^{(i)}$（在批次中也是 $1\times C$），必须单独计算雅可比矩阵 $J^{(i)}$。这个矩阵的维度是 $C\times C$。因此，批次中每个样本的梯度 $dLd{Z}^{(i)}$ 由下式确定：
$$dLd{Z}^{(i)}=dLd{A}^{(i)}\cdot J^{(i)}$$

参考资料：

• CMU_11785_深度学习导论