感受野与有效感受野

感受野

感受野(receptive field, RF)，卷积神经网络每一层输出的特征图（feature map）上的特征点在原始图像上映射的区域大小，即特征点能“看”到的范围。越高（深）层的特征点描述的原图信息越全面，越能表述语义信息。

感受野计算

感受野计算公式：

其中，L 表示感受野大小，f 表示卷积核(kernel size)，s 表示卷积步长(stride)。起始卷积层(F0)，感受野大小等于其kernel size。
对于上图，计算上图感受野：
F0层: L0 = f = 3;
F1层: L1 = 3 + (3-1) * 1 = 5;
特别的，当前特征层(feature map)感受野与之前层相关，与当前层卷积核大小相关，与步长(stride),填充(padding)无关。理论感受野尺寸可以大于网络输入尺寸。

增加感受野

1）增加网络层数。特别的，增加网络层数时，对于 f!=1 的网络层数即使feature map大小没有改变，感受野也会增加。
2）增加池化层。成倍的增加感受野。
3）更大的卷积核。通常为了保持feature map的尺寸，更大的卷积核需要相应的padding作为补充。例如，卷积核(k=3,s=2,p=0)与(k=7,s=2,p=3)能够获得相同尺寸的feature map，但后者的感受野要大于前者。

有效感受野

有效感受野(effective receptive field, ERF)，在卷积计算时，实际有效的感受野区域。在F0特征层中，特征点6可以描述其他所有特征点的部分信息，即图中交叠部分，特征点6代表的信息更“有效”。即越靠近感受野中心的区域越有效。在网络训练时，有效感受野对参数的影响更大。

一般而言，特征点有效感受野要小于实际感受野。其有效性，类高斯分布向边缘递减，且不同的激活函数对有效感受野影响不同[1]。

总结

神经网络中，感受野可以描述特征点的最大信息量，有效感受野则可以描述信息的有效性。充分理解感受野与有效感受野的概念，在设计网络时，可以依据此计算网络层数，卷积核大小，卷积步长。甚至根据任务不同，自动生成backbone。

引用：
[1] Luo W , Li Y , Urtasun R , et al. Understanding the Effective Receptive Field in Deep Convolutional Neural Networks[J]. 2017.