十五天掌握CNN——Residual Attention Networks ShuffleNet

Residual Attention Networks

利用Residual 和Attention 机制进行网络结构堆叠，从而得到一个更深入的特征信息，以在每个attention module中做出适应性变化，采用上采样和下采样结构。

主要创新点

1. Stacked Network Structure：堆叠多个attention module 构建网络结构。
2. Attention Residual Learning：一种优化思想，类似ResNet中基于残差的更新方式，提升模型性能。
3. Bottom-up top-down feedforward attention：基于下采样-上采样机制，在特征图中加入特征权重。
   
   

ShuffleNet

1. 满足在受限条件下的高效基础网络结构。基于 组群卷积 和 深度可分离卷积。
2. 简单的组群卷积：导致每个卷积操作仅从某些部分的输入通道数据中导出，降低通道之间的信息流通，降低信息表达能力。
3. 为保证信息表达能力，在组群卷积前进行channel的shuffle操作。
   
   

对于channel的shuffle操作

1. 输出通道：g×n
2. reshape（g，n）
3. 转置为（n，g）
4. 扁平化，继续分组作为下一层输入。