全连接层详解

一、什么是全连接层

转载自： https://blog.csdn.net/qq_39521554/article/details/81385159

全连接层：（fully connected layers，FC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。

在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前层是卷积层的全连接层可以转化为卷积核$H\ast W$的全局卷积，H 和 W 分别为前层卷积结果的高和宽。

全连接的核心操作就是矩阵向量乘积 $y=W\ast x$

二、全连接层的理解

转载自： https://blog.csdn.net/zfjBIT/article/details/88075569

• 理解1：
  卷积取的是局部特征，全连接就是把以前的局部特征重新通过权值矩阵组装成完整的图。因为用到了所有的局部特征，所以叫全连接。
• 理解2：
  从卷积网络谈起，卷积网络在形式上有一点点像咱们正在召开的“人民代表大会制度”。卷积核的个数相当于候选人，图像中不同的特征会激活不同的“候选人”（卷积核）。
  池化层（仅指最大池化）起着类似于“合票”的作用，不同特征在对不同的“候选人”有着各自的喜好。
  全连接相当于是“代表普选”，所有被各个区域选出的代表，对最终结果进行“投票”，全连接保证了receiptive field 是整个图像，既图像中各个部分（所谓所有代表），都有对最终结果影响的权利。
• 理解3：
  假设你是一只小蚂蚁，你的任务是找小面包。你的视野还比较窄，只能看到很小一片区域。当你找到一片小面包之后，你不知道你找到的是不是全部的小面包，所以你们全部的蚂蚁开了个会，把所有的小面包都拿出来分享了。全连接层就是这个蚂蚁大会~
• 理解4：
  例如经过卷积，relu后得到3x3x5的输出。那它是怎么样把3x3x5的输出，转换成1x4096的形式？
  
  很简单,可以理解为在中间做了一个卷积。
  
  从上图我们可以看出，我们用一个3x3x5的filter 去卷积激活函数的输出，得到的结果就是一个fully connected layer 的一个神经元的输出，这个输出就是一个值。因为我们有4096个神经元。我们实际就是用一个3x3x5x4096的卷积层去卷积激活函数的输出。

三、全连接层计算

转载自：https://blog.csdn.net/qq_41158484/article/details/127173994

全连接层其实就是一个权重矩阵，计算过程其实就是通过一个矩阵，将一个向量转换成另外一个维度的向量。公式如下：

Vector(output) = Vector(input) × Weight(FC) + Bias(FC)

其中，Weight(FC) 表示全连接层的权重，Bias(FC)表示全连接层的偏置。
也就是说，如果输入全连接层向量的 shape 是（1，4），输出全连接层向量的 shape 是（1，3），显然学过线性代数的同学就知道了，这个全连接层权重的 shape 是（4，3），偏置的shape是（1，3）。如输入一个（2，2，2，2）的四维向量，需要输出一个三维向量，当权重矩阵的数值全为1，偏置矩阵的数值全为3时，计算过程如下：

全连接层参数计算：
全连接层的参数量，其实就是参数权重和偏置的大小。因此全连接层的参数量就有公式：
全连接层参数量
= Weight(FC).height × Weight(FC).width + bias(FC).width
= Vector(input).shape × Vector(output).shape + Vector(output).shape
因此，如上面的例子，输入是1×4的向量，输出是1×3的向量，全连接层的参数量 = 4 × 3 + 3 = 15。

文章仅用于自己学习中的记录，无商业用途，防止原文丢失转载自1，2，3，4