1.9.2 用于分类任务的卷积神经网络的最后几层一般是什么层？在最近几年有什么变化

1. 用于分类任务的卷积神经网络的最后几层一般是什么层？

摘要：

前面几层一般是卷积层、池化层。最后基层一般是全连接层。

原因：因为卷积层的特征提取过程是局部的，对于位置不敏感。无法提取同一张图片中不同元素位置之间的关联关系，所以需要一个全局的、位置敏感的特征提取器：全连接层。

全连接层好处：全连接层每个输出分量与所有的输入分量都相连，并且连接权重都是不同的

• 用于分类任务的卷积神经网络，其前面若干层一般是卷积层、池化层等，但是网络末端一般是几层全连接层。这是因为一方面卷积层具有局部连接、权值共享的特性，其在不同位置是采用相同的卷积核进行特征提取的。

• 问题：也就是说，卷积层的特征提取过程是局部的（卷积核尺寸一般远小于图片尺寸），且是位置不敏感的。而且，参考文献［22］中的实验表明，即使强迫卷积层学习如何对位置信息进行编码，其效果也不理想。

  因此，如果整个网络全部采用卷积层（包括池化层等），网络也许能知道图片中不同位置有哪些元素（高层语义信息），但无法提取这些元素之间的关联关系（包括空间位置上的相关性、语义信息上的相关性）。而对于分类任务，不仅需要考虑一张图像中的各个元素，还需要考虑它们之间的关联关系（全局信息）。

举例来说，假设要做人脸检测任务，仅仅找出图片上的眼、鼻、口等人脸元素是不够的，它们之间的相对位置关系也非常重要（如果一张图片中人脸的各个器官被随机打乱，我们显然不会认为这还是一张人脸）。

• 解决：为了提取不同元素之间的关联关系，我们需要一个全局的、位置敏感的特征提取器，而全连接层就是最方便的选择，其每个输出分量与所有的输入分量都相连，并且连接权重都是不同的。

  当然，卷积层也不是完全不能对位置信息进行编码，如果使用与输入特征图同样尺寸的卷积核就可以，但这实际上等价于一个全连接层（卷积的输出通道数目对应着全连接层的输出单元个数）。

  从另一方面来理解，多个全连接层组合在一起就是经典的分类模型-多层感知机。

  我们可以把卷积神经网络中前面的卷积层看作是为多层感知机提取深层的、非线性特征。从这个角度讲，最后几层也可以接其他的分类模型，如支持向量机等，但这样就脱离了神经网络体系，处理起来不太方便，不利于模型进行端到端的训练和部署。

  相关阅读：支持向量机和感知机有什么关联？

2.在最近几年有什么变化？

最近几年，分类网络在卷积层之后、最后一层之前通常采用全局平均池化。

（即卷积层/池化层——全局平均池化——全连接层）

它与全连接层有着相似的效果（可以提取全局信息），并且具有如下优点。

1. 参数量和计算量大大降低。

   假设输入特征图的尺寸为w ×h ，通道数为c	全局平均池化	输出单元数为k的全连接层
   参数量	0	cwhk
   计算量	cwh	cwhk

   对于AlexNet、VGGNet等这种全连接层单元数动辄1024或4096的网络，全局平均池化与普通卷积层的计算量能相差千余倍。

2. 具有较好的可解释性。

   比如，我们可以知道特征图上哪些点对最后的分类贡献最大。

相关阅读：卷积神经网络的基本结构

[22] LIU R, LEHMAN J,MOLINO P, et al. An intriguing failing of convolutional neural networks and the coordconv solution[C]//Advances in Neural Information Processing Systems, 2018: 9605-9616.
[23] LIN M, CHEN Q ,YAN S. Network in network[J]. arXiv preprint arXiv: 1312.4400 , 2013.

参考文献：

《百面深度学习》 诸葛越 江云胜主编

出版社：人民邮电出版社（北京）

ISBN：978-7-115-53097-4

2020年7月第1版（2020年7月北京第二次印刷）

推荐阅读：

//好用小工具↓

分享一个免费的chat工具

分享一个好用的读论文的网站

// 深度学习经典网络↓

LeNet网络（1989年提出,1998年改进）

AlexNet网络（2012年提出）

VGGNet网络（2014年提出）

LeNet、AlexNet、VGGNet总结

GoogLeNet网络（2014年提出）

ResNet网络（2015年提出）