机器学习学习笔记--卷积网络的层次结构

在卷积神经网络（Convolutional Neural Network，CNN）中，卷积层的神经元只与前一层的部分神经元节点相连，即它的神经元间的连接是非全连接的，且同一层中某些神经元之间的连接的权重 w 和偏移 b 是共享的（即相同的），这样大量地减少了需要训练参数的数量。

卷积神经网络CNN的结构一般包含这几个层：

• 输入层：用于数据的输入
• 卷积层：使用卷积核进行特征提取和特征映射
• 激励层：由于卷积也是一种线性运算，因此需要增加非线性映射
• 池化层：进行下采样，对特征图稀疏处理，减少数据运算量。
• 全连接层：通常在CNN的尾部进行重新拟合，减少特征信息的损失
• 输出层：用于输出结果

当然中间还可以使用一些其他的功能层：

• 归一化层（Batch Normalization）：在CNN中对特征的归一化
• 切分层：对某些（图片）数据的进行分区域的单独学习
• 融合层：对独立进行特征学习的分支进行融合

在卷积层中有几个重要的概念：

• 感知视野 (local receptive fields)
• 共享权值 (shared weights)

假设输入的是一个 28×28 的二维神经元，我们定义 5×5 的一个 local receptive fields（感知视野），即隐藏层的神经元与输入层的 5×5 个神经元相连，这个 5×5 的区域就称之为 Local Receptive Fields

可类似看作：隐藏层中的神经元具有一个固定大小的感知视野去感受上一层的部分特征。在全连接神经网络中，隐藏层中的神经元的感知视野足够大乃至可以看到上一层的所有特征。

而在卷积神经网络中，隐藏层中的神经元的感受视野比较小，只能看到上一次的部分特征，上一层的其他特征可以通过平移感知视野来得到同一层的其他神经元，由同一层其他神经元来看