感受野简介

感受野的简单理解以及计算

深度神经网络中的感受野(Receptive Field) - 知乎在机器视觉领域的深度神经网络中有一个概念叫做感受野，用来表示网络内部的不同位置的神经元对原图像的感受范围的大小。神经元之所以无法对原始图像的所有信息进行感知，是因为在这些网络结构中普遍使用卷积层和po…https://zhuanlan.zhihu.com/p/28492837        感受野的增速是直接和卷积步长累乘相关的。如果要更加快的达到某个感受野尺度，可以让stride＞1的卷积核靠前，同时还有一个好处就是让网络的推理速度增加了，因为特征图的分辨率会迅速的变小。

        下面的内容是整理来自链接内视频的讲解，UP主启释科技。深度理解感受野（二）：抓住卷积神经网络的内在特性，学习感受野的计算少不了_哔哩哔哩_bilibili在上一个视频讲解感受野的概念及重要性的基础上，在本视频中列举了影响网络感受野的典型操作，如卷积、反卷积、池化等，通过实例讲解了感受野及感受野中心应如何计算，给出了迭代计算公式，便于大家在后续的应用中直接应用公式自行计算感受野。https://www.bilibili.com/video/BV17p4y1B78h

        感受野的中心位置和感受野大小的计算之后，就得到了感受野的物理属性。

        推荐论文《A guide to Convolution arithmetic for deep Learning》 文章链接，点击文字即可，文章介绍了卷积当中的一些计算过程，比较详细

有效感受野

概念：

        感受野receptive field，每个位置均会对相应神经元的激活产生影响，但并不是所有位置的贡献都相等。这种歧视就是有效感受野ERF，effective receptive field。

        它是神经网络内在属性，当结构确定的时候，有效感受野的相关特性也就是确定的。两个神经元即使感受野大小一样，网络结构不同，有效感受野特性也会不同

计算

        它是一种现象，本身无法计算，但是每个位置的重要程度是可以计算的，所以可以通过看每个位置的重要程度来探知感受野的存在。

        如何计算位置的重要程度还没有个确切的定论，但是主流做法借助数据驱动。来训练网络，再通过一些操作获取感受野中不同位置的贡献度。可以参考一些文献。

        还有个方法基于图的方法（这里是up主自己的方法）

        可以把整个CNN的计算过程看作是三维的有向图，边指向是从底层节点到高层节点，贡献度计算可以分为三步：1，计算输入节点到神经元节点的所有路径；2，统计所有路径包含的边，去掉重复的边，3，边的条数就是该节点的贡献度

        输入节点影响后面计算次数的程度可以看作是贡献度，也就是步骤里面的数量。

        画图之后，会观察到类似一个二元高斯函数的三维图，中心贡献度最大，然后向四周逐渐衰减，以及各同向性。

重要

•         通过ERF，有效感受野，可以知道神经网络到底关注点在哪里，有多么关注
•         指导分类、检测，分割网络的设计（比如需要多深的网络）
•         一个进一步探索网络可解释性的有效手段

感受野如何影响分类网络

分类网络发展简史

        Lenet，AlexNet，VGG，Googlenet，ResNet（加剧了网络梯度回传消失的问题，增强了所有特征图的表达能力，是因为融合了不同感受野尺度的特征图）

深度之于网络的意义

        这里先不考虑宽度的问题，更深的网络一般有更大的感受野，也就是分类网络最后一次的感受野要比输入图像大，毕竟如果看到的区域只是图像的一部分，那么分类结果肯定不够好。但是只覆盖图像也不一定足够

        如果图像中的类别目标物在中间，此时的特征表达是最好的，因为ERF效应。但是目标物有可能不在中间，比如在imageNet比赛当中，有个提高结果的trick手段，就是把1个图像分成10个子图，如果10个子图里面有一个是在中间的，就能大概得到一个好结果。

剖析ResNet家族

        结论：

• 感受野在结构类似的前提下，越大性能越好
• 感受野的大小并不完全决定性能，和有效感受野有关，而有效感受野收到网络结构决定。
• 一味追求感受野的增大，不一定能一直提高结果，而是要提高结构的优越性，也就是有效感受野的大小，一般能对结果进行优化

感受野对检测网络的影响

检测网络发展

        RCNN,faster-rcnn，DenseBo，SSD,YOLO，FPN,RetianNet，CornerNet，FCOS等

        anchor-based方法要先于anchor-free方法；two-stage方法要早于one-stage；分类网络的提升直接带动了检测网络的刷榜能力

感受野对检测网络的意义

        从one-stage的角度来看检测网络背后的分类网络

        全连接网络可以被1*1卷积替代，就可以形成全卷积网络。最后特征图可以是1*1

        不改变分类网络，只改变输入图像大小，最后特征图出来就不是1*1，比如是3*3的。形成了一个检测网络的backbone。如果在输出层去做预测，就需要给出3*3即9个类别标签，所以现在这个网络需要预测9个图像的标签，这9个是哪些个呢？就是最后的特征图上每个位置神经元对应的感受野图像

        检测网络的训练，可以视为一种高效的分类网络训练，框回归可以看作是附带的事情

        每个感受野对应一个输入图像，每个用于预测的神经元节点都会有一个类别标签；所有的输入图像都共享这一个分类网络

SSD剖析

        大网络-子网络-参数共享

        感受野中心的计算是有偏差的

        anchor-based策略不太科学