- 博客(4)
- 收藏
- 关注
RSS订阅原创 Without pooling
此文提出了 使用步长为2 卷积核为3的卷积层来代替pooling层 这里文章关于pooling层的作用提出了3个解释：1，pooling的范数使得CNN中的表达更加具有不变性。2，减小空间维度 使得上层的层能够覆盖到更大的input部分。 3，基于特征的pooling操作相比于会将特征混合在一起的卷积层能够更简单的优化。 文章认为只有第二点才是pooling层的主要作用 这样就完全可以被特殊的卷积...
2018-03-27 21:33:51
308
1
原创 Batch Normalization
首先 神经网络的训练是十分复杂的 每一层的输入都会受前面所有层的影响 而且当层数越深 这种影响将被放大 所以 如果对于输入的分布有一些改变 则会造成问题 使得这些层的参数需要重新调整来适应这个变化的分布 这是我们不想见到的 如果我们使这种非线性的输入分布维持稳定 这样就可以加速对网络的训练 所以我们想要改进 whitening 是一个很好的方法能使得训练收敛速度加快 whitening 是使得输入...
2018-03-19 22:23:44
142
原创 MobileNet V2
MobileNet V2 是对于MobileNet 的改进 此模型的主要特点是使用了 inverted residual 和 linear bottleneck 对于MobileNet本身的特点 使用Depthwise Separable Convolutions 被保留了下来 而在ResNeXt ShuffleNet 等网络非常有效的shortcuts 被引入了本结构。首先是对于bottlene...
2018-03-18 20:43:55
847
原创 MobileNets
参考：点击打开链接MobileNets使用depthwise sparable convolutions 减少了网络的计算量和参数量，它主要假设常规卷积核在feature maps的channels维度映射中，存在一种类似线性组合的分解特性。这个假设奠定了随后的很多文章的基础，就如参考那篇博客所说Xception中它认为Inception模块背后有一个基本假设，就是输入通道间的相关性和空间相关性是...
2018-03-17 21:43:13
166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人