彻底搞懂感受野的含义与计算

博客： 博客园 | CSDN | blog

什么是感受野

The receptive field is defined as the region in the input space that a particular CNN’s feature is looking at (i.e. be affected by).

—— A guide to receptive field arithmetic for Convolutional Neural Networks

感受野（Receptive Field），指的是神经网络中神经元“看到的”输入区域，在卷积神经网络中，feature map上某个元素的计算受输入图像上某个区域的影响，这个区域即该元素的感受野。

卷积神经网络中，越深层的神经元看到的输入区域越大，如下图所示，kernel size 均为$3\times 3$，stride均为1，绿色标记的是$Layer2$ 每个神经元看到的区域，黄色标记的是$Layer3$ 看到的区域，具体地，$Layer2$每个神经元可看到$Layer1$ 上 $3\times 3$ 大小的区域，$Layer3$ 每个神经元看到$Layer2$ 上 $3\times 3$ 大小的区域，该区域可以又看到$Layer1$ 上 $5\times 5$ 大小的区域。

所以，感受野是个相对概念，某层feature map上的元素看到前面不同层上的区域范围是不同的，通常在不特殊指定的情况下，感受野指的是看到输入图像上的区域。

为了具体计算感受野，这里借鉴视觉系统中的概念，
$$receptivefield=center+surround$$

准确计算感受野，需要回答两个子问，即视野中心在哪和视野范围多大。

• 只有看到”合适范围的信息”才可能做出正确的判断，否则就可能“盲人摸象”或者“一览众山小”；
• 目标识别问题中，我们需要知道神经元看到是哪个区域，才能合理推断物体在哪以及判断是什么物体。

但是，网络架构多种多样，每层的参数配置也不尽相同，感受野具体该怎么计算？

约定

在正式计算之前，先对数学符号做如下约定，

• $k$：kernel size

• $p$：padding size

• $s$：stride size

• $Layer$：用$Layer$表示feature map，特别地 $Layer0$为输入图像；

• $Conv$：用$Conv$表示卷积，$k$、$p$、$s$为卷积层的超参数，$Convl$的输入和输出分别为 $Layerl-1$ 和 $Layerl+1$；

• $n$：feature map size为 $n\times n$，这里假定$height=width$；

• $r$：receptive field size为$r\times r$，这里假定感受野为方形；

• $j$：feature map上相邻元素间的像素距离，即将feature map上的元素与输入图像$Layer0$ 上感受野的中心对齐后，相邻元素在输入图像上的像素距离，也可以理解为 feature map上前进1步相当于输入图像上前进多少个像素，如下图所示，feature map上前进1步，相当于输入图像上前进2个像素，$j=2$；

  

• $start$：feature map左上角元素在输入图像上的感受野中心坐标$(start,start)$，即视野中心的坐标，在上图中，左上角绿色块感受野中心坐标为$(0.5,0.5)$，即左上角蓝色块中心的坐标，左上角白色虚线块中心的坐标为$(-0.5,-0.5)$；

• $l$：$l$表示层，卷积层为$Convl$，其输入feature map为$Layerl-1$，输出为$Layerl$。

下面假定所有层均为卷积层。

感受野大小

感受野大小的计算是个递推公式。

再看上面的动图，如果feature map $Layer \ 2 $ 上的一个元素 A A