GhostNet

GhostNets on Heterogeneous Devices via Cheap Operations

怎么做

回顾C-GhostNet：

由可视化结果可知，输出特征图中包含一些冗余存在，因此可以使用更廉价的操作来实现冗余生成。

过程

1. 先通过普通卷积生成m个本征特征图
2. 再对每个本征特征图进行廉价操作（常用深度   可分离卷积实现）以生成s个Ghost特征
3. 得到m+s个特征图

 

 

G-GhostNet：

其实就是在每个阶段中，输出特征图一部分由正常卷积产生，通道数较少，另一部分由第一个block和中间的block（这部分主要是为了加强特征表示能力）生成的特征图在GPU上做廉价处理来生成ghost特征图。

提出这个想法的原因：

说之前的GhostNet对GPU不友好，而且发现冗余特征也出现在每个stage的各个block之间，于是就想办法解决阶段性（stage-wise）的冗余，由此提出新的方法

最后也是安排实验方法以及可视化结果证明 Ghost特征图具有一定的合理性且能满足任务需求。

具体实现细节：

In all the G-Ghost stages, the 1_1 convolution is used as the cheap operation and the ghost ratio l is set to 0.4. The expansion ratio in the residual bottleneck is set as 3, and SE module (Hu et al., 2018) is applied on each block. The simple ReLU is adopted as the activation function for its efficiency.

怎么写

1. the depth-wise convolution is usually of lower arithmetic intensity, i.e., ratio of computation to memory operations, which cannot be sufficiently utilized the parallel computing capability. 深度卷积通常具有较低的算术强度，即计算与存储操作的比率，不能充分利用并行计算能力。
2. How to derive CNNs with better trade-off between accuracy and GPU latency is still a neglected problem. 如何推导出在精度和GPU延迟之间有更好权衡的CNN仍然是一个被忽视的问题
3. the main body of a CNN is usually composed of several stages with progressively reduced resolution CNN的主体通常由几个阶段构成，分辨率渐次减小。
4. Rather than block-wise enhancement which is investigated in previous works , we target on reducing stage-wise redundancy  不同于之前的工作中研究的块性增强，我们的目的是减少阶段性冗余。
5. The bulk of computation 大部分的计算工作
6. vanilla CNN stage 原始CNN模型
7. approximately 大约
8. candidates 候选人 候选方案
9. sparse 稀疏的
10. aforementioned 之前提到的
11. extensive 广泛的
12. diagram 简图 示意图
13. Here we first conduct a toy experiment to observe the reconstruction error between raw feature maps and the generated ghost feature maps.这里我们首先进行一个玩具实验，观察原始特征图和生成的鬼特征图之间的重建误差。
14. row 未加工的 原始的 自然状态的
15. a plug-and-play module 一个即插即用的模型