全连接层结构理解

以上图为例，我们仔细看上图全连接层的结构，全连接层中的每一层是由许多神经元组成的（1x 4096）的平铺结构。它是怎么样把3x3x5的输出，转换成1x4096的形式？？？

从上图我们可以看出，我们用一个3✖3✖5的filter去卷积激活函数的输出，得到的结果就是一个fully connected layer 的一个神经元的输出，这个输出就是一个值。
因为我们有4096个神经元，我们实际就是用一个3✖3✖5✖4096的卷积层去卷积激活函数的输出。
这么做有一非常重要的作用：就是它把特征representation整合到一起，输出为一个值。有什么好处呢？就是可以大大减少特征位置对分类带来的影响。

为什么有的时候全连接层是两层呢？

激活神经元。再往后就是softmax了，以后再回来看，再完善。