神经网络大总

全连接层（fully connected layers，FC）

全连接的核心操作就是矩阵向量乘积 :  y = W x  ，就是一个特征空间变换（线性变换），把有用信息提取整合。

所有各种层连接到一起叫做神经网络，如果这个层只有全连接层，那么这个网络就是全连接神经网络。（全连接神经网络的主要作用是分类），下面是全连接神经网络的几种：

 

在 CNN 中，全连接常出现在最后几层，用于对前面设计的特征做加权和。提取全图范围特征，最终实现分类。（全连接参数量大，但是如果特征图压缩足够小再做全连接，计算量和参数两也不是很大。）

出自新加坡国立大学2014年的论文（Network In Network）NIN。使用1×1卷积层来替代全连接层：

 

在 RNN 中，全连接用来把 embedding 空间拉到隐层空间，把隐层空间转回 label 空间。

Dropout用在全连接层上。

卷积神经网络

卷积层：提取局部特征。

激活层：非线性函数。

池化层：简化。

循环（递归）神经网络

累了，后补。