全连接层(Fully Connected Layer)

一.概述

全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。在卷积神经网络的最后，往往会出现一两层全连接层，全连接一般会把卷积输出的二维特征图转化成一维的一个向量。

二.前向传播

下图中连线最密集的2个地方就是全连接层，这很明显的可以看出全连接层的参数的确很多。在前向计算过程，也就是一个线性的加权求和的过程，全连接层的每一个输出都可以看成前一层的每一个结点乘以一个权重系数W，最后加上一个偏置值b得到，即 。如下图中第一个全连接层，输入有50*4*4个神经元结点，输出有500个结点，则一共需要50*4*4*500=400000个权值参数W和500个偏置参数b。

 下面用一个简单的网络具体介绍一下推导过程：

                                                                                

其中，x1、x2、x3为全连接层的输入，a1、a2、a3为输出，根据我前边在笔记1中的推导，有

                                                                  

可以写成如下矩阵形式：

                                                                 

三.反向传播 

以我们的第一个全连接层为例，该层有50*4*4=800个输入结点和500个输出结点。

                                                                   

由于需要对W和b进行更新，还要向前传递梯度，所以我们需要计算如下三个偏导数。

1.对上一层的输出（即当前层的输入）求导

若我们已知转递到该层的梯度,则我们可以通过链式法则求得loss对x的偏导数。

首先需要求得该层的输出ai对输入xj的偏导数

再通过链式法则求得loss对x的偏导数：

在反向传播过程中，若第x层的a节点通过权值W对x+1层的b节点有贡献，则在反向传播过程中，梯度通过权值W从b节点传播回a节点。

若我们的一次训练16张图片，即batch_size=16，则我们可以把计算转化为如下矩阵形式。

                                        

2、对权重系数W求导 

我们前向计算的公式如下，

                                                                      

由图可知，所以：。 

当batch_size=16时，写成矩阵形式：

                                 

3.对偏置系数b求导 

由上面前向推导公式可知，即loss对偏置系数的偏导数等于对上一层输出的偏导数。

当batch_size=16时，将不同batch对应的相同b的偏导相加即可，写成矩阵形式即为乘以一个全1的矩阵：

                                    

 四.进一步理解

全连接层实际就是卷积核大小为上层特征大小的卷积运算，卷积后的结果为一个节点，就对应全连接层的一个点。（理解）
即若全卷积上一层的feature map尺寸为：,即该层有个节点。

全卷积层为：，即该层有个节点。

可以通过一个W和b完成卷积层到全连接层的转化，W:[K，W]，b:[K，1]。

也可以通过一个卷积操作来代替全连接层，该卷积核大小为，且共有K个。