（CVPR2019）ESPNetv2：轻量级、节能且通用的卷积神经网络

最新推荐文章于 2024-04-19 09:38:48 发布

想学好编程和算法的ly

最新推荐文章于 2024-04-19 09:38:48 发布

阅读量1.2k

点赞数 41

文章标签： cnn 深度学习神经网络

本文链接：https://blog.csdn.net/bhbcdxl/article/details/137695141

版权

作者来自华盛顿大学

II.related works

1. 高效卷积神经网络架构：
- 最先进的高效网络大多使用深度可分离卷积以降低计算复杂度。
- 深度可分离卷积将卷积分为两个步骤：深度卷积和逐点卷积。
- 另一种高效卷积形式是组卷积，其中输入通道和卷积核被分为组，每个组独立进行卷积。
- ESPNetv2使用这些高效卷积形式扩展了ESPNet网络，并使用深度可分离“扩张”卷积来学习来自大有效感受野的表示。

2. 神经网络架构搜索：
- 这些方法在预定义的字典中搜索巨大的网络空间，包括不同的卷积层、不同的卷积单元和不同的滤波器尺寸。
- 最近的基于搜索的方法已经为MobileNetv2等带来了改进，预计这些方法也将提高ESPNetv2的性能。

3. 网络压缩：
- 这些方法通过修剪网络连接或通道来提高预训练网络的推理。
- 由于CNN具有大量冗余权重，这些方法通过参数的稀疏性获得了效率提升。

4. 低比特表示：
- 这是改善预训练网络推理的另一种方法，通过量化网络权重使用低比特表示来实现。
- 类似于网络压缩方法，这些方法也与笔记中的工作相辅相成。

总的来说，笔记提到了不同的方法来提高神经网络的效率和性能，包括高效卷积、网络架构搜索、网络压缩和低比特表示。同时指出这些方法与提出的ESPNetv2网络相辅相成，可以相互增强性能。

III.ESPNetv2

3.1深度扩张可分离卷积

这一节详细介绍了ESPNetv2架构中的深度可分离扩张卷积，该卷积形式能够有效地学习大的有效感受野中的表示。与标准卷积相比，深度可分离扩张卷积通过分解卷积操作来实现轻量级过滤，从而降低了计算成本。这种卷积形式的介绍为后续对ESPNetv2网络的理解提供了基础。

3.2. EESP 块

描述了一个新的网络单元EESP，它利用深度可分离扩张和组逐点卷积设计，专为边缘设备而设计。该单元受ESPNet架构的启发，基于ESP模块构建，使用了减少-分割-变换-合并的策略。通过组逐点和深度可分离扩张卷积，该单元的计算复杂度得到了显著的降低。进一步，描述了一种带有捷径连接到输入图像的分层EESP单元，以更有效地学习多尺度的表示。

3.3. Network architecture

ESPNetv2网络采用了EESP单元构建，并在每个空间级别上重复多次以增加网络的深度。为了保持相同的计算复杂度，特征图在每次下采样操作后都会翻倍。在实验中，扩张率r与EESP单元中的分支数量成正比。为了选择有意义的卷积核，他们限制了每个空间级别的有效感受野，并根据分支数量设置了组逐点卷积的组数。整体ESPNetv2网络架构根据不同的计算复杂度进行了展示。