MobileNetV2浅析

最新推荐文章于 2024-07-26 09:00:48 发布

guocehnxi

最新推荐文章于 2024-07-26 09:00:48 发布

阅读量292

点赞数

本文链接：https://blog.csdn.net/chenxi910911/article/details/102615049

版权

本文深入探讨了MobileNetV2的两大创新：倒置残差结构和线性瓶颈层。倒置残差设计改变了传统残差块的顺序，瓶颈层先进行计算，然后扩展，以更好地保留信息。线性瓶颈层则通过在低维子空间中嵌入信息流，降低计算和存储需求，同时保持模型性能。

摘要由CSDN通过智能技术生成

文章：MobileNetV2: Inverted Residuals and Linear Bottlenecks

打印模型结构的代码转载：https://blog.csdn.net/qq_36810544/article/details/81456182

本文中的主要贡献是：提出了倒置残差和线性bottleneck层(目的：降低计算量和存储，在推理阶段：通过不完全保存中间大型张量减少对内存的依赖)
神经网络结构：将低维输入扩展成高维矩阵，经过一个depthwise卷积后再经过一个线性卷积降维

线性bottleneck层
1.本章节主要讨论这些激活的Tensor的基本属性
激活张量可以认为是像素为“h×w” 维度 d的一个容器。一般，对于一个真实的输入集它所对应的隐层激活张量可以形成一个“主要流行”。假设神经网络中的隐层激活张量可以嵌入在低维的子空间中。换句话说，一个深度卷积层的d个通道像素点的信息可以编码在位于低维子空间中的值。
首先，我们可以简单将隐层的维度降低来降低操作空间的维度，这一结论已在mobileNetv1版本中得到验证，可以通过空着width multiplier 系数平衡计算复杂度和精度，可以通过这个系数直接减少空间维度直到信息流和空间中的值达到饱和状态。
但是当深度卷积神经网络在每一个特征变换之后都伴随着一个非线性操作（例如：RELU），这个结论被推翻。RELU在一维空间中是一条射线，在n维空间中是一个漏斗状的曲面
很容易理解，如果一变换层RELU后的结果是非零值S，这个S是输入X通过一个线性变换B得到的，也就是说输入空间和全维度输出空间之间受限于一个线性变换。换句话说，深度网络当输出部分为非零值时仅拥有一个线性分类的能力。

更正式的说法是：当RELU作用于该通道时