轻量化网络系列 | 解读GHostNet

最新推荐文章于 2025-02-14 21:20:14 发布

麻瓜1号

最新推荐文章于 2025-02-14 21:20:14 发布

阅读量4.5k

点赞数 3

分类专栏：轻量化网络文章标签：深度学习人工智能卷积神经网络网络

本文链接：https://blog.csdn.net/weixin_48249563/article/details/111030403

版权

轻量化网络专栏收录该内容

4 篇文章

订阅专栏

GhostNet是一种高效的轻量化网络结构，通过减少冗余特征图计算，实现更快的训练速度和更小的模型体积。该网络利用GhostModule仅需少量传统卷积生成特征图，再通过简单线性变换增加特征图数量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章标题：GhostNet: More Features from Cheap Operations

作者单位：Noah’s Ark Lab, Huawei Technologies；Peking University；School of Computer Science, Faculty of Engineering, University of Sydney

网络精度：TOP-1 Accuracy 73.9%（1.0x） 75.7%（1.5x）

1. 核心思路

对于 SOTA 的网络，通常会包含丰富甚至冗余的特征图，以保证对输入数据有全面的理解。GhostNet 从冗余特征图角度思考构建轻量化网络，不同于依靠传统卷积操作生成冗余特征图的方式，GhostNet 仅采用少量传统卷积生成部分特征图，然后对这部分特征图做简单的线性变化（用作者的话说，这种操作比较 cheap ），得到所需数量的特征图，这个操作可以增加特征图的冗余性，“模拟”传统卷积的效果。

2. 详解

2.1 冗余特征图问题

诸如 ResNet-50 等 SOTA 的网络结构通常存在大量的冗余或相似的特征图，如下图。

在这里插入图片描述

冗余的特征图是非常有必要的，可以保证网络对输入数据的理解更为全面。

2.2 Ghost Module

考虑到主流 CNN 计算得到的中间特征图存在冗余现象，GhostNet 提出减少产生冗余特征图过程计算消耗，也就是减少卷积数量，最终构建 Ghost Module 实现了以更少的参数产生更多的特征图（如下图(b)）。

在这里插入图片描述

其中， $Φ_i$ 为线性变换。实际操作中， $Φ_i$ 的变换方法不固定，可以是 3x3 线性核或者 5x5 线性核（其实有点类似深度卷积思想，但不同的是深度卷积前后的通道数相同，而这里 $Φ_i$ 可以产生所需要的通道数，并且可以对同一通道特征图进行多次线性变换【其实当 s 取 2 时， $Φ_i$ 就是原原本本的深度卷积】）。另外，理论上可以使用不同尺寸大小的卷积核组合进行线性变换操作，但考虑到 CPU 或 GPU 的推理情况，作者建议全部使用 3x3 卷积核或全部使用 5x5 卷积核。

例如：输出 n 张特征图的情形，Ghost Module 具有一个恒等映射（即通过传统卷积方式得到 m 张特征图）和 $m·(s-1)=\frac{(s-1)·n}{s}$ 个线性运算（ $n = m \cdot s$ ），并且每个线性运算的卷积核大小为d·d，可以推理出理论上Ghost Module和标准卷积得到相同数量特征图的加速比和参数压缩比。假设 k=d ，并且 s 远小于 c ，则其理论加速比为：

$r_s =\frac{n·h'·w'·c·k·k}{\frac{n}{s}·h'·w'·c·k·k+(s-1)·\frac{n}{s}·h'·w'·d·d} = \frac{c·k·k}{\frac{1}{s}·c·k·k+\frac{s-1}{s}·d·d}≈\frac{s·c}{s+c-1}≈s$

其参数压缩比为：

$r_c=\frac{n·c·k·k}{\frac{n}{s}·c·k·k+(s-1)·\frac{n}{s}·d·d}≈\frac{s·c}{s+c-1}≈s$

因此，理论上使用 Ghost Module 可以节约 s 倍的训练时间，缩减 s 倍的参数。【超参数 s 和 k 可以调整，s 用于调整传统卷积方式的特征图数量， d 为线性转换卷积核大小】

2.3 Ghost Bottleneck（G-bneck）

在这里插入图片描述

在一个 G-bneck 中存在两个 Ghost module ，其中第一个 Ghost module 用于增加通道数（expansion layer），指定输出和输入通道数之间的比例为扩张比。第二个 Ghost module 减少通道数以匹配 shortcut 分支的通道。当步长为 2 时，在两个 Ghost module 中间加入一个步长为 2 的深度卷积层。