全连接层作用及原理

1、概念

全连接层，是每一个结点都与上一层的所有结点相连。

2、作用

全连接层连接上一层所有的节点，即综合所有提取的特征，然后将输出值送给分类器。全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息．一般情况下上一层是卷积层，卷积层的作用是将原始的输入数据映射到隐层特征空间，而全连接层则将学到的特征映射到样本的标记空间

3、实现方式

全连接层可由卷积操作实现：对前层是全连接的全连接层可以转换为卷积核为1*1的卷积；⽽前层是卷积层的全连接层可以转换为卷积核为前层卷积输出结果的⾼和宽⼀样⼤⼩的全局卷积。

4、举例

全连接⼀般会把卷积输出的⼆维特征图转化成⼀维的⼀个向量，如下图所示，最后的两列⼩圆球就是两个全连接层，在最后⼀层卷积结束后，进⾏了最后⼀次池化，输出了20个1212的图像，然后通过了⼀个全连接层变成了1100的向量。

其实就是有20100个1212的不同卷积核卷积出来的，就是每个神经元的输出是121220个输⼊值与对应的权值乘积的和。对于输⼊的每⼀张图，⽤了⼀个和图像⼀样⼤⼩的核卷积，这样整幅图就变成了⼀个数了，如果厚度是20就是那20个核卷积完了之后相加求和。这样就能把⼀张图⾼度浓缩成⼀个数了。

5、缺点

但是全连接的参数实在是太多了，如果这张图里就有201212100个参数，前面随便一层卷积，假设卷积核是77的，厚度是64，那也才7764，所以现在的趋势是尽量避免全连接，目前主流的一个方法是全局平均值。也就是最后那一层的feature map（最后一层卷积的输出结果），直接求平均值。有多少种分类就训练多少层，这十个数字就是对应的概率或者叫置信度。