[人工智能-深度学习-30]：卷积神经网络CNN - 感受野，特征的提取与范围的扩散

最新推荐文章于 2024-06-24 22:22:01 发布

文火冰糖的硅基工坊

最新推荐文章于 2024-06-24 22:22:01 发布

阅读量8.7k

点赞数 1

分类专栏：人工智能-TensorFlow 人工智能-PyTorch 人工智能-深度学习文章标签：神经网络人工智能 cnn 特征图片特征提取

本文链接：https://blog.csdn.net/HiWangWenBing/article/details/120833158

版权

卷积神经网络感受野特征提取抽象度步长

关键词由CSDN通过智能技术生成

人工智能-深度学习同时被 3 个专栏收录

206 篇文章 171 订阅

订阅专栏

人工智能-PyTorch

119 篇文章 191 订阅

订阅专栏

人工智能-TensorFlow

63 篇文章 28 订阅

订阅专栏

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120833158

第1章什么感受野

1.1 生物学对感受野的定义

感受野，感受器受刺激兴奋时，通过感受器官中的向心神经元将神经冲动（各种感觉信息）传到上位中枢，一个神经元所反应（支配）的刺激区域就叫做神经元的感受野（receptive field）。又译为受纳野。末梢感觉神经元、中继核神经元以及大脑皮层感觉区的神经元都有各自的感受野。随感觉种类不同，感受野的性质、大小也不一致。

在视觉通路上，视网膜上的光感受器（杆体细胞和锥体细胞）通过接受光并将它转换为输出神经信号而来影响许多神经节细胞，外膝状体细胞以及视觉皮层中的神经细胞。反过来，任何一种神经细胞（除起支持和营养作用的神经胶质细胞外）的输出都依赖于视网膜上的许多光感受器。我们称直接或间接影响某一特定神经细胞的光感受器细胞的全体为该特定神经细胞的感受野(receptive field)。

皮肤感觉末梢神经元的感觉野，就是由一个感觉神经元的神经纤维所支配的许多感受器在皮肤表面所能反应的范围。一个视神经细胞和许多视觉感受器相连接,一条视神经纤维所支配的感受野是可以从视网膜上找到的。这种视觉感受野一般可用视角大小来表示。至于听觉系统的感受野则相当于每个听神经元对不同频率声音的应答野。

1.2 卷积神经网络中的感受野

感受野（Receptive Field），指的是卷积神经元能够一次性“看到的”输入区域。在卷积神经网络中，feature map上某个元素的计算受输入图像上某个区域的影响，这个区域即该元素的感受野。

分为卷积核的感受一下和整个神经网络输出的感受野。

（1）单一卷积核的感受野

一个卷积核的感受野就是一个卷积核的面积= 长度 * 宽度。

（2）串联卷积神经网络输出的感受野

从输出开始，逐步递推到输入时的平面面积。

如上图，假设步长为1：

输出是layer3时，一次卷积，对于layer2的感受野是3 * 3。

输出是layer2时，一次卷积，其对于layer1的感受野是3 * 3

由于横向的方向有连续3次的卷积，因此横向的范围扩展为3 + 1 + 1 = 5。

由于纵向的方向有连续3次的卷积，因此纵向的范围扩展为3 + 1 + 1 = 5。

这时候layer3对layer1的感受野扩展为5 * 5.

如上图，假设步长为2：

输出是layer3时，一次卷积，对于layer2的感受野是3 * 3。

输出是layer2时，一次卷积，其对于layer1的感受野是3 * 3

由于横向的方向有连续3次的卷积，因此横向的范围扩展为3 + 2 + 2 = 7。

由于纵向的方向有连续3次的卷积，因此纵向的范围扩展为3 + 2 + 2 = 7。

这时候layer3对layer1的感受野扩展为7 * 7.

第2章感受野的神奇效果

（1）特征的提取

卷积核的作用，就是通过卷积，提取感受野大小范围内的输入数据的特征。

所谓提取特征，就是用输入数据与卷积核的W矩阵进行神经元运算（内积），得到一个输出数据。

2.2 视野的扩散

从上图可以看出，Layer2对Layer1的感受野的范围是3 * 3， Layer3对Layer2的感受野的范围是3 * 3.

Layer3对layer1感受野的范围就不再是3 * 3，因为Layer3感受到了3*3 = 9区域的大小。而每个Layer2点，又分别来自于Layer1的3*3的内积，但由于卷积在移动的过程，有可能在Layer1上重叠，因此，Layer3的感受野并非是：3 *3 * 3 * 3 = 81. 实际感受野的大小与移动的步长相干。

如果步长是1：则Layer3感受Llayer1的感受野时：（3+1+1） * （3+1+1） = 25

如果步长是2：则Layer3感受Llayer1的感受野时：（3+2+2） * （3+2+2） = 49

如果步长是3：则Layer3感受Llayer1的感受野时：（3+3+3） * （3+3+3） = 81

随着卷积层输出的增加的变化，输出端的感受野也在被层层放大。