深度学习笔记6-感受野

感受野（Receptive Field）是神经网络，特别是卷积神经网络（CNN）中的一个重要概念。它指的是在网络的特定层中，一个神经元或特征映射单元所能“看到”的输入区域，即影响该神经元输出的输入像素的范围。

感受野的概念

在 CNN 中，感受野描述了网络中某一层的一个神经元（或卷积核）在输入图像上对应的区域。例如，假设一个卷积神经网络有若干层卷积和池化操作，最终某一层的一个神经元输出值实际上受图像上多个像素的影响。这些像素所覆盖的区域就是该神经元的感受野。

感受野的计算

感受野可以通过逐层计算得出，从输入层开始到目标层，每一层卷积或池化操作都会增加感受野的大小。影响感受野大小的主要因素包括：

1. 卷积核大小（Filter Size）：卷积核越大，感受野的增长越快。
2. 步幅（Stride）：步幅越大，感受野的增长越快。
3. 池化层（Pooling Layer）：池化操作（如最大池化）也会增大感受野。

示例：

假设一个简单的 CNN 由三个卷积层组成，每一层的卷积核大小为 (3 $\times$ 3)，步幅为 1，没有填充（padding）。我们从第一层开始计算感受野的大小：

• 第一层：感受野大小为 (3 $\times$ 3)，因为卷积核直接作用于输入图像的 (3 $\times$ 3) 区域。
• 第二层：每个神经元的感受野大小为 (3 $\times$ 3)（本层） + (3 $\times$ 3)（前一层的感受野） = (5 $\times$ 5)。
• 第三层：每个神经元的感受野大小为 (5 $\times$ 5)（本层） + (3 $\times$ 3)（前一层的感受野） = (7 $\times$ 7)。

感受野的意义

1. 特征提取的范围：感受野的大小决定了网络中某一层神经元能够捕获图像的多少信息。在网络的浅层，感受野较小，神经元只能捕捉局部的细节信息；在网络的深层，感受野较大，神经元可以捕获到更全局的特征。

2. 影响模型性能：感受野的合理设计对模型性能至关重要。如果感受野过小，网络可能无法捕获到输入图像的全局信息，导致识别效果不佳；如果感受野过大，网络可能会丢失重要的细节信息。

3. 卷积神经网络的设计：理解感受野有助于设计更深层次的卷积神经网络，以确保网络的每一层能够有效地捕获图像的多尺度特征。

感受野的扩展

1. 空洞卷积（Dilated Convolution）：通过在卷积核中引入空洞（即在卷积核的元素之间插入“空”的位置），可以在不增加参数和计算量的情况下增大感受野。这种方法在语义分割等任务中广泛应用。

2. 全局平均池化（Global Average Pooling, GAP）：在某些网络结构中，通过全局平均池化将特征图直接缩减为单个值，可以使网络的感受野覆盖整个输入图像。

总结

感受野是卷积神经网络中一个关键的概念，它决定了网络中每一层神经元能够“看到”的输入图像的范围。在设计卷积神经网络时，理解并合理设置感受野的大小可以帮助网络更好地提取图像的多尺度特征，从而提高模型的性能和泛化能力。