轻量级网络SkipblockNet

AI算法网奇

已于 2022-08-10 01:37:24 修改

阅读量2.4k

点赞数

分类专栏：深度学习宝典文章标签： skipnet

于 2021-07-28 10:43:19 首次发布

本文链接：https://blog.csdn.net/jacke121/article/details/119173604

版权

深度学习宝典专栏收录该内容

989 篇文章 715 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

SkipBlockNet是一种受U-Net架构启发的轻量级网络设计，它通过skip connections直接将底层特征传递到顶层。该网络通过门限模块动态决定是否跳过中间层，从而减少计算量。在ResNet基础上，SkipBlockNet引入了门限网络，通过训练策略结合有监督学习和强化学习，实现了在网络推断过程中根据输入动态调整计算路径。实验表明，SkipBlockNet可以在降低计算量的同时保持高精度。

摘要由CSDN通过智能技术生成

4.1 Skip Block

skip block想法是直接将low-level features从第一层传递到最后一层。块的设计是由U-Net架构驱动的，在自动编码器风格的架构中，编码器和解码器中具有相同空间维度的层的输出通过skip connections连接起来。

一般来说，在分类网络中，层空间大小逐渐减小，无法直接使用skip connections。为了解决这一限制，作者提出了一个中间块，它将不同空间大小的层连接起来，并利用从第一层提取的low-level特征来丰富最后一层。

如图所示，skip block由池操作和卷积组成。首先，为了保持关键特征和减小空间大小，作者采用自适应平均池化，然后采用3个卷积层。批处理归一化(BN)和ReLU非线性应用在每个卷积层之后，除了最后一个没有使用ReLU的卷积层。选择自适应平均池化是因为它考虑了所有的特性，使得skip block可以处理所有的输入值。卷积层参数采用了MobileNetV3中对inverted residual blocks的s