全连接层(fully connected layers,FC)
全连接的核心操作就是矩阵向量乘积 : y = W x ,就是一个特征空间变换(线性变换),把有用信息提取整合。
所有各种层连接到一起叫做神经网络,如果这个层只有全连接层,那么这个网络就是全连接神经网络。(全连接神经网络的主要作用是分类),下面是全连接神经网络的几种:
在 CNN 中,全连接常出现在最后几层,用于对前面设计的特征做加权和。提取全图范围特征,最终实现分类。(全连接参数量大,但是如果特征图压缩足够小再做全连接,计算量和参数两也不是很大。)
出自新加坡国立大学2014年的论文(Network In Network)NIN。使用1×1卷积层来替代全连接层:
在 RNN 中,全连接用来把 embedding 空间拉到隐层空间,把隐层空间转回 label 空间。
Dropout用在全连接层上。
卷积神经网络
卷积层:提取局部特征。
激活层:非线性函数。
池化层:简化。
循环(递归)神经网络
累了,后补。