CNN网络结构中的重要概念

感受野

感受野(receptive field）原指听觉、视觉等深井系统中一些神经元的特性，即神经元只接受其所支配的刺激区域内的信号。在视觉神经系统中，视觉皮层中神经细胞的输出依赖于视网膜上的光感受器。当光感受器受刺激兴奋时，会将神经冲动信号传导至视觉皮层。不过需要指出并不是所有神经皮层中的神经元都会接受这些信号。正是由于感受野等功能结构在猫的视觉中枢中的发现，催生了福岛邦彦带卷积和子采样操作的多层神经网络。
现代卷积神经网络中的感受野又是怎么一回事呢？下面我们以单层卷积操作为例。如图是一个7x7，步长为1的卷积操作，对后层的每个输出神经元(如紫色区域)来说，它的前层感受野即为黄色区域，可以发现这与神经系统中的感受野定义大同小异。不过，由于现代卷积神经网络拥有多层甚至超多层卷积操作，随着网络深度的加深，后层神经元在第一层输入层的感受野会随之增大。如图3.1b所示为3x3,步长为1的卷积操作，同单层卷积操作一样，相邻两层中后层神经元在前层的感受野仅为3x3，但随着卷积操作的叠加，第L+3层的神经元在第L层的感受野可扩充至7x7。

也就是说，小卷积核通过多层叠加可取得与大卷积核同等规模的感受野，
此外，采用小卷积核同时可以带来两个优势：
第一，由于小卷积核需多层叠加，加深了网络深度进而增强了网络容量和复杂度；
第二，增强网络容量的同时减少了参数个数。
此外，需要指出的是，目前已有不少研究工作为提升模型预测能力通过改造现有卷积核操作试图扩大原有卷积核在前层的感受野大小，或使原始感受野不再是矩形区域而是更自由可变的形状。

分布式表示

神经网络中的“分布式表示”指的是“语义概念”到神经元是一个多对多映射，直观来讲，即每个语义概念由许多分布在不同神经元中被激活的模式表示；而每个神经元又可以参与到许多不同语义概念的表示中去。
注：文章选自《解析深度学习—卷积神经网络原理与视觉实践》魏秀参著