李沐-26 网络中的网络 NiN【动手学深度学习v2】

主要记载关于全局平均池化层（Global Average Pooling, GAP）中如下两点的理解：

1.  GAP的原理

2.  相对于全连接层，GAP具有更少的参数

为了直观地说明全局平均池化层相对于全连接层具有更少的参数，我们可以构造一个简单的例子。假设有一个卷积神经网络（CNN）的输出层前是一个特征图（Feature Map），其维度为 C×H×W，其中：

- C  是通道数（Channel Number），代表特征图的深度。
- H  和 W  分别是特征图的高度和宽度。

现在我们要将这个特征图映射到一个分类任务的输出向量，该向量的长度为N（代表类别数）。

1. **使用全连接层（FC）**：
   全连接层会对输入的每个样本（即特征图）的所有元素进行线性变换，生成输出向量。若特征图大小为C×H×W ，则输入的总元素数为C×H×W 。全连接层与输入的每个元素都对应一个权重，再加上一个偏置项，因此该全连接层所需的参数总数为：

其中，前一部分是权重参数，后一部分是偏置参数。

2. **使用全局平均池化层（GAP）**：
   全局平均池化层对每个通道（