动手学深度学习4.7 no Video /chapter_multilayer-perceptrons/backprop.ipynb.ipynb

小结

• 前向传播在神经网络定义的计算图中按顺序计算和存储中间变量，它的顺序是从输入层到输出层。
• 反向传播按相反的顺序（从输出层到输入层）计算和存储神经网络的中间变量和参数的梯度。
• 在训练深度学习模型时，前向传播和反向传播是相互依赖的。
• 训练比预测需要更多的内存。

练习

1. 向本节中描述的模型的隐藏层添加偏置项（不需要在正则化项中包含偏置项）。

   1. 画出相应的计算图。
   2. 推导正向和反向传播方程。

   正向传播方程及各变量维度

   1. 输入数据 $\mathbf{X}$:

      • 维度: $n\times m$

   2. 隐藏层线性变换:
      $$\mathbf{Z}=\mathbf{XW}+\mathbf{b}$$

      • $\mathbf{W}$: 权重矩阵, 维度 $m\times h$
      • $\mathbf{b}$: 偏置向量, 维度 $1\times h$
      • $\mathbf{Z}$: 隐藏层输入, 维度 $n\times h$

   3. 隐藏层激活:
      $$\mathbf{A}=\sigma (\mathbf{Z})$$

      • $\mathbf{A}$: 激活值, 维度 $n\times h$

   4. 输出层线性变换:
      $$\mathbf{Y}=\mathbf{AV}+\mathbf{c}$$

      • $\mathbf{V}$: 权重矩阵, 维度 $h\times o$
      • $\mathbf{c}$: 偏置向量, 维度 $1\times o$
      • $\mathbf{Y}$: 输出, 维度 $n\times o$

   反向传播方程及各变量维度

   假设损失函数为 $L(\mathbf{Y},\mathbf{T})$，其中 $\mathbf{T}$ 是真实标签，维度为 $n\times o$。我们通过链式法则计算各参数的梯度。

   1. 输出层反向传播:

      • 输出层损失梯度:
        $$\frac{\partial L}{\partial \mathbf{Y}}=\frac{\partial L}{\partial \mathbf{Y}}$$

      • 维度: $n\times o$

      • 输出层权重梯度:
        $$\frac{\partial L}{\partial \mathbf{V}}={\mathbf{A}}^T\frac{\partial L}{\partial \mathbf{Y}}$$

      • $\frac{\partial L}{\partial \mathbf{V}}$: 维度 $h\times o$

      • ${\mathbf{A}}^T$: 维度 $h\times n$

      • $\frac{\partial L}{\partial \mathbf{Y}}$: 维度 $n\times o$

      • 输出层偏置梯度:
        $$\frac{\partial L}{\partial \mathbf{c}}=\sum _{i=1}^n\frac{\partial L}{\partial {\mathbf{Y}}_i}$$

      • $\frac{\partial L}{\partial \mathbf{c}}$: 维度 $1\times o$

      • 激活值梯度:
        $$\frac{\partial L}{\partial \mathbf{A}}=\frac{\partial L}{\partial \mathbf{Y}}{\mathbf{V}}^T$$

      • $\frac{\partial L}{\partial \mathbf{A}}$: 维度 $n\times h$

      • $\frac{\partial L}{\partial \mathbf{Y}}$: 维度 $n\times o$

      • ${\mathbf{V}}^T$: 维度 $o\times h$

   2. 隐藏层反向传播:

      • 激活函数梯度:
        $$\frac{\partial L}{\partial \mathbf{Z}}=\frac{\partial L}{\partial \mathbf{A}}\odot {\sigma }^{\prime }(\mathbf{Z})$$

      • $\frac{\partial L}{\partial \mathbf{Z}}$: 维度 $n\times h$

      • $\frac{\partial L}{\partial \mathbf{A}}$: 维度 $n\times h$

      • ${\sigma }^{\prime }(\mathbf{Z})$: 维度 $n\times h$

      • 隐藏层权重梯度:
        $$\frac{\partial L}{\partial \mathbf{W}}={\mathbf{X}}^T\frac{\partial L}{\partial \mathbf{Z}}$$

      • $\frac{\partial L}{\partial \mathbf{W}}$: 维度 $m\times h$

      • ${\mathbf{X}}^T$: 维度 $m\times n$

      • $\frac{\partial L}{\partial \mathbf{Z}}$: 维度 $n\times h$

      • 隐藏层偏置梯度:
        $$\frac{\partial L}{\partial \mathbf{b}}=\sum _{i=1}^n\frac{\partial L}{\partial {\mathbf{Z}}_i}$$

      • $\frac{\partial L}{\partial \mathbf{b}}$: 维度 $1\times h$

2. 假设想计算二阶导数。计算图发生了什么？预计计算需要多长时间？
   计算过程
   正向传播：计算损失 𝐿(𝑥)

   反向传播：计算一阶导数 ∇𝐿(𝑥)

   二阶反向传播：对每个一阶导数分量再计算一次反向传播，得到 Hessian 矩阵 𝐻𝐿(𝑥)
   应该是o(n方)的复杂度，时间大大增加

3. 假设计算图对当前拥有的GPU来说太大了。

   1. 请试着把它划分到多个GPU上。
   2. 与小批量训练相比，有哪些优点和缺点？

划分模型层：
将模型的不同层或部分分配到不同的GPU上。例如，如果有两个GPU，可以将前半部分的层放在GPU 0上，后半部分的层放在GPU 1上。

import torch
import torch.nn as nn

class SplitNN(nn.Module):
    def __init__(self):
        super(SplitNN, self).__init__()
        self.fc1 = nn.Linear(1000, 500).cuda(0)  # First part on GPU 0
        self.fc2 = nn.Linear(500, 10).cuda(1)   # Second part on GPU 1

    def forward(self, x):
        x = x.cuda(0)
        x = torch.relu(self.fc1(x))
        x = x.cuda(1)
        x = self.fc2(x)
        return x

model = SplitNN()

划分数据和计算：
在前向传播和反向传播过程中，数据需要在不同GPU之间传递。可以利用PyTorch的torch.cuda模块来实现。

input_data = torch.randn(32, 1000).cuda(0)  # Input data on GPU 0
output = model(input_data)
loss = torch.nn.functional.mse_loss(output, torch.randn(32, 10).cuda(1))  # Loss computed on GPU 1
loss.backward()

同步计算：
确保各GPU之间的计算同步，可以利用torch.cuda.synchronize()来实现。

python
torch.cuda.synchronize()

3.2 优点和缺点
优点
更大模型的训练：
模型并行可以使得训练更大规模的模型成为可能，因为单个GPU可能无法容纳整个模型的计算图和参数。

充分利用GPU资源：
在拥有多个GPU的环境下，可以充分利用所有GPU的计算能力，从而提高计算效率。

更高效的内存使用：
通过将模型划分到多个GPU上，可以更加高效地利用每个GPU的内存，避免单个GPU因内存不足而导致的计算瓶颈。

缺点
通信开销：
在多个GPU之间传递数据会产生通信开销，特别是在前向传播和反向传播过程中频繁的数据传递，这会影响整体的计算效率。

实现复杂性：
需要对模型进行拆分和调整，这增加了实现和维护的复杂性。需要特别注意不同GPU之间的数据同步和传递。

负载不均衡：
如果模型的不同部分计算量差异较大，可能会导致GPU负载不均衡，从而无法充分利用所有GPU的计算能力。

与小批量训练比较
小批量训练的优点
减少内存占用：
小批量训练可以减少每次训练过程中所需的内存，从而能够在单个GPU上训练更大的模型。

更稳定的梯度估计：
小批量训练通过累积多个样本的梯度，可以得到更稳定和准确的梯度估计，从而有助于训练过程的收敛。

实现简单：
实现和维护小批量训练相对简单，不需要在多个GPU之间进行复杂的数据传递和同步。

小批量训练的缺点
训练速度较慢：
与模型并行相比，小批量训练在单个GPU上的训练速度可能较慢，特别是在数据量较大时。

无法训练超大模型：
对于超大规模的模型，即使使用小批量训练也可能无法在单个GPU上进行训练。