深度学习 术语解读

深度学习 术语解读

---

---

卷积神经网络 Convolutional Neural Networks(CNN)

是一种深度学习模型或类似于人工神经网络的多层感知器，常用来分析视觉图像。

图1.卷积神经网络架构

感受野

感受野就是计算机所能看到图像的范围。

图2.人脑视觉结构

图3.人脑视觉与计算机视觉

卷积神经网络的出现是受到了生物处理过程的启发，因为神经元之间的连接模式类似于动物的视觉皮层组织。
个体皮层神经元仅在被称为感受野的视野受限区域中对刺激作出反应，不同神经元的感受野部分重叠，使得它们能够覆盖整个视野。计算机感受野的含义与此类似。

池化 Pooling

池化过程在一般卷积过程后。池化（pooling） 的本质，其实就是采样。Pooling 对于输入的 Feature Map，选择某种方式对其进行降维压缩，以加快运算速度。

池化的作用：
（1）保留主要特征的同时减少参数和计算量，防止过拟合。
（2）invariance(不变性)，这种不变性包括translation(平移)，rotation(旋转)，scale(尺度)。

Pooling 层说到底还是一个特征选择，信息过滤的过程。也就是说我们损失了一部分信息，这是一个和计算性能的一个妥协，随着运算速度的不断提高，我认为这个妥协会越来越小。

主干网络 Backbone

既然说是主干网络，就代表其是网络的一部分。这个主干网络大多时候指的是提取特征的网络，其作用就是提取图片中的信息，供后面的网络使用。这些网络经常使用的是ResNet、VGG等，而不是我们自己设计的网络，因为这些网络已经证明了在分类等问题上的特征提取能力是很强的。在用这些网络作为backbone的时候，都是直接加载官方已经训练好的模型参数，后面接着我们自己的网络。让网络的这两个部分同时进行训练，因为加载的backbone模型已经具有提取特征的能力了，在我们的训练过程中，会对它进行微调，使得其更适合于我们自己的任务。

全局平均池化 Global Average Pool（GAP）

Global Average Pool全局平均池化，就是将某个通道的特征取平均值，经常使用AdaptativeAvgpoold(1),在pytorch中，这个代表自适应性全局平均池化，也就是将某个通道的特征取平均值。

 self.gap = nn.AdaptiveAvgPool2d(1)

head

head是获取网络输出内容的网络，利用之前提取的特征，head利用这些特征，做出预测。

neck

是放在backbone和head之间的，是为了更好的利用backbone提取的特征。