深度学习 | 全连接层原理

一.全连接层：       

         全连接层需要把输入拉成一个列项向量，如下图所示：

         比如你的输入的feature map是2X2，那么就需要把这个feature map 拉成4X1的列向量，如果你的feature map 的channels是3，也就是你的输入是3X2X2，也就是相当于有了12个像素点，你就需要把feature map 拉成12X1的列向量，这时候，再乘一个权重，这个权重要把12个像素点都包含进去，所以这个权重的矩阵形式应该是1X12,所以经过一个全连接层后的输出就是1X12X12X1=1X1，这时候需要看你的需要多少个1X1的神经元了，如果是3个的话，那么输出就是3X（1X12X12X1）=3X（1X1）.这个3在权重矩阵中代表3行，即每一行与输入相乘，得到一个输出：

二.卷积层：转载：https://www.cnblogs.com/zf-blog/p/6075286.html

        卷积层就相当于一个卷积核，对于传送过来的feature map进行局部窗口滑动，无论你输入的feature map多大(不能小于卷积核的大小)，都不会对卷积造成影响：

 

卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT-CONV-RELU-POOL-FC

(1)卷积层：用它来进行特征提取，如下：

输入图像是32*32*3，3是它的深度（即R、G、B），卷积层是一个5*5*3的filter(感受野)，这里注意：感受野的深度必须和输入图像的深度相同。通过一个filter与输入图像的卷积可以得到一个28*28*1的特征图，上图是用了两个filter得到了两个特征图；

三.卷积层与全连接层的区别：

      从上面可以看出，全连接层的权重矩阵是固定的，即每一次feature map的输入过来必须都得是一定的大小（即与权重矩阵正好可以相乘的大小），所以网络最开始的输入图像尺寸必须固定，才能保证传送到全连接层的feature map的大小跟全连接层的权重矩阵匹配。

     卷积层就不需要固定大小了，因为它只是对局部区域进行窗口滑动，所以用卷积层取代全连接层成为了可能，看我这一节：深度学习---之全卷积神经网络取代全连接层--用于图像分割

--------------------------------------------------------------------------------------------------------------------------------------------

在卷积神经网络的最后，往往会出现一两层全连接层，全连接一般会把卷积输出的二维特征图转化成一维的一个向量，这是怎么来的呢？目的何在呢？

举个例子：

最后的两列小圆球就是两个全连接层，在最后一层卷积结束后，进行了最后一次池化，输出了20个12*12的图像，然后通过了一个全连接层变成了1*100的向量。

这是怎么做到的呢，其实就是有20*100个12*12的卷积核卷积出来的，对于输入的每一张图，用了一个和图像一样大小的核卷积，这样整幅图就变成了一个数了，如果厚度是20就是那20个核卷积完了之后相加求和。这样就能把一张图高度浓缩成一个数了。

全连接的目的是什么呢？因为传统的网络我们的输出都是分类，也就是几个类别的概率甚至就是一个数--类别号，那么全连接层就是高度提纯的特征了，方便交给最后的分类器或者回归。

但是全连接的参数实在是太多了，你想这张图里就有20*12*12*100个参数，前面随便一层卷积，假设卷积核是7*7的，厚度是64，那也才7*7*64，所以现在的趋势是尽量避免全连接，目前主流的一个方法是全局平均值。

也就是最后那一层的feature map（最后一层卷积的输出结果），直接求平均值。有多少种分类就训练多少层，这十个数字就是对应的概率或者叫置信度。

参考：https://blog.csdn.net/u012426298