卷积神经网络感受野的计算

神经网络感受野计算

1. 普通卷积感受野计算

感受野指的是当前的特征图的一个特征点在输入空间影响的区域，该点的值被输入空间的这个区域影响，与其他区域无5173。通常有两种方式可以计算感受野，从后往前算和从前往后算。从前往后计算的方法很简单，基本上一个公式就可以计算，使用递推公式计算。

 

L表示感受野的大小，k表示网络的层序号，f表示卷积核尺寸，s表示步长大小。递推公式的增量为后一部分，对于第k层，其卷积核为fk，那么相比前一层需要计算fk个位置（或者神经元，），但是这些位置要一直向前扩展到输入层。对于第一个位置，扩展后的感受野为lk-1，正好是前一层的感受野大小，但是对于剩余的fk-1个位置就要看stride大小，你需要扩展到前面所有层的stride（注意不包括当前层的stride，当前层的stride只会影响后面层的感受野），所以需要累乘所有的stride，这样剩余fk-1个位置的感受野大小就是第二部分的值。

 

2.对于扩张卷积的感受野计算

对于3*3的扩张卷积，都是考虑same卷积，加padding不减小特征图：

Dilation rate=1，    对应于普通3*3卷积

Dilation=2，         对应于5*5卷积，padding=2

Dilation=4，         对应于9*9卷积，padding=4

Dilation=8，         对应于17*17卷积，padding=8

 

从后往前计算感受野计算公式：

Rf=（rf-1）* s + k

对于应用在resnet上，全部使用SAME类型的卷积，也就是不减小特征图。下图是使用fomoro Ai网站计算得到的感受野（https://fomoro.com/projects/project/receptive-field-calculator）

 

直接结算第9层的感受野，从后往前计算：初始rf=1

（1）1*1的卷积   rf=1

（2）3*3，dilation=2对应5*5的卷积，padding=2，

       rf=(rf-1)*s+k = (1-1)*1 + 5 = 5

（3）1*1卷积    rf=5

（4）1*1卷积    rf=5

（5）3*3，dilation=2对应5*5的卷积，padding=2，

       rf=(rf-1)*s+k = (5-1)*1 + 5 = 9

（6）1*1卷积    rf=9

（7）1*1卷积    rf=9

（8）3*3，dilation=2对应5*5的卷积，padding=2，

       rf=(rf-1)*s+k = (9-1)*1 + 5 = 13

（9）1*1卷积    rf=13

可以看到计算结果与上图中完全一样。使用从第一部分的前往后的计算结果也是相同的。

 

 

参考

[1]http://shawnleezx.github.io/blog/2017/02/11/calculating-receptive-field-of-cnn/

[2] https://zhuanlan.zhihu.com/p/35708466