深度学习重要与易混淆知识点汇总

前向传播与反向传播：

卷积核的深度与卷积层的深度：

　　卷积核的深度与输入图像的深度一致，例如输入图像为28*28*3 格式彩色图像，那么卷积核则为 n*n*3 ，其中的3表示卷积核的深度。n*n*3 是一个完整的卷积核，别忘了每个卷积核还有一个b，

　　卷积层的深度是模型的超参数，是某个卷积层设计要用多少个（例如n*n*3的）卷积核。

　　此处应该有插图

1*1 的卷积核有什么用，怎么起作用：

　　1 实现了不同channel上特征的融合——即，对卷积后的 Feature Map 进行跨通道信息整合

　　2 1*1 的卷积层通过改变层的深度达到减少参数的目的。不管对单通道还是多通道图像，加入1*1 的卷积层实际上是增加了一个调节层，改变输入的通道数，起到升维或者降维的作用。

　　这里引用网友的 Inception 模型说明如何实现降维：

　　

　　输入层信息：28*28*192　　　

　　左边卷积层结构：1x1x192*64+64（卷积层深度为64）,3x3x192*128+128（卷积层深度为128）,5x5x192*32+32（卷积层深度为32)  本层参数个数为：387296

　　右边卷积层结构：1x1x192*64+64，                          1x1x192*96+96,3x3x96*128+128              1x1x192*16+16,5x5x16*32+32   本层参数个数为：157520

　　参数个数少了一倍多！

　　两种卷积方式下一层输入格式为：28x28x（64+128+32）

NIN：涉及两个概念，多层感知卷积层与全局平均池化层

　　多层感知卷积层（Mlpconv Layer）：使用 Conv+MLP 代替传统卷积层，增强网络提取抽象特征和泛化的能力；

　　　　多个卷积层作用后级联，每个内嵌的卷积层相当于一个神经元，最后级联的输出，是MLP的输出神经元。

　　全局平均池化层（Global Average Pooling）：使用平均池化代替全连接层（这个层将输入层张量扁平化），很大程度上减少参数空间，便于加深网络和训练，有效防止过拟合。

 

　　　　对每个特征图一整张图片进行全局均值池化，这样每张特征图都可以得到一个输出。这个想法是为最后一个Mlpconv层的分类任务的每个对应类别生成一个特征映射。 我们不是在特征图顶部添加完全连接的图层，而是使用每个特征图的平均值，并将生成的矢量直接输入到softmax图层。

　　

 

 

　　

 

转载于:https://www.cnblogs.com/ailex/p/9684800.html