感受野

感受野是卷积神经网络里面最重要的概念之一，为了更好地理解卷积神经网络结构，甚至自己设计卷积神经网络，对于感受野的理解必不可少。

一.定义

感受野是卷积神经网络里面最重要的概念之一，为了更好地理解卷积神经网络结构，甚至自己设计卷积神经网络，对于感受野的理解必不可少。

在机器视觉领域的深度神经网络中有一个概念叫做感受野，用来表示网络内部的不同位置的神经元对原图像的感受范围的大小。

在学习计算感受野之前，先可视化一下感受野吧。举一个例子，原始图像为 ，卷积核（Kernel Size）为 ，padding 为  ，stride为  ，依照此卷积规则，连续做两次卷积。熟悉卷积过程的朋友都知道第一次卷积结果是 大小的feature map，第二次卷积结果是 大小的feature map。整个过程如图所示:

                                                     

                                                                 第一次卷积得到3*3的 feature map，RF为3*3 

                                                              

                                                                          第二次卷积得到2*2的 feature map 

                                         

                                                                        黄色feature map对应的感受野是7*7大小 

如图所示，第一层卷积结束后，感受野是3*3。在第二层卷积结束了，感受野是7*7 

将二维简化为一维，这个三层的神经卷积神经网络，每一层卷积核的 ,  ，那么最上层特征所对应的感受野就为如图所示的7x7。

                    

 二.计算

 

如果有dilated conv的话，计算公式为

           

三.拓展 

上文所述的是理论感受野，而特征的有效感受野（实际起作用的感受野）实际上是远小于理论感受野的，如下图所示。具体数学分析比较复杂，不再赘述，感兴趣的话可以参考论文[2]。

四.应用

• 分类

Xudong Cao写过一篇叫《A practical theory for designing very deep convolutional neural networks》的technical report，里面讲设计基于深度卷积神经网络的图像分类器时，为了保证得到不错的效果，需要满足两个条件：

Firstly, for each convolutional layer, its capacity of learning more complex patterns should be guaranteed; Secondly,  the receptive field of the top most layer should be no larger than the image region.

其中第二个条件就是对卷积神经网络最高层网络特征感受野大小的限制。

• 目标检测

现在流行的目标检测网络大部分都是基于anchor的，比如SSD系列，v2以后的yolo，还有faster rcnn系列。

基于anchor的目标检测网络会预设一组大小不同的anchor，比如32x32、64x64、128x128、256x256，这么多anchor，我们应该放置在哪几层比较合适呢？这个时候感受野的大小是一个重要的考虑因素。

放置anchor层的特征感受野应该跟anchor大小相匹配，感受野比anchor大太多不好，小太多也不好。如果感受野比anchor小很多，就好比只给你一只脚，让你说出这是什么鸟一样。如果感受野比anchor大很多，则好比给你一张世界地图，让你指出故宫在哪儿一样。

《S3FD: Single Shot Scale-invariant Face Detector》这篇人脸检测器论文就是依据感受野来设计anchor的大小的一个例子，文中的原话是

we design anchor scales based on  the effective receptive field

《FaceBoxes: A CPU Real-time Face Detector with High Accuracy》这篇论文在设计多尺度anchor的时候，依据同样是感受野，文章的一个贡献为

We introduce the Multiple Scale Convolutional Layers
(MSCL) to handle various scales of face via  enriching
receptive fields and discretizing anchors over layers

引用：

[1]convolutional nerual networks

[2]Understanding the Effective Receptive Field in Deep Convolutional Neural Networks