BASIC 一些深度学习中一些概念01

全局连接，

指的就是全连接

局部连接，

就是在FC-FC层之间，加上pool层，来降低参数量。

权值共享

比如一个3*3的卷积核，共9个参数，它会和输入图片的不同区域作卷积，来检测相同的特征。

全局池化

解决问题：全连接的问题，其主要是是将最后一层的特征图进行整张图的一个池化，形成一个特征点，将这些特征点组成最后的特征向量。

“global pooling”就是pooling的 滑窗size 和整张feature map的size一样大，每个 W×H×CW×H×C 的feature map输入就会被转化为 1×1×C1×1×C 输出。由于池化的方法不同，可以分为全局平均池化（global average pooling，GAP）和全局最大值池化（global max pooling，GMP）。就是用平均直和最大值代替。

全局平均池化（global average pooling，GAP）和全局池化是一个东西？，这一概念。为了避免全连接层的过拟合问题，网中网（Network in Network）提出了GAP层。GAP层，顾名思义，就是对整个特征映射应用平均池化，换句话说，是一种极端激进的平均池化。

 

本来是 现在生生降到 ，这样大幅简化参数，从而避免过拟合问题。

由于传统的pooling太过粗暴，操作复杂，目前业界已经逐渐放弃了对pooling的使用。替代方案 如下：

• 采用 Global Pooling 以简化计算；
• 增大conv的 stride 以免去附加的pooling操作

全局pool收敛慢。