Backbone - Designing Network Design Spaces

0. 前言

• 相关资料：
  • arxiv
  • github
  • 论文解读，知乎讨论
• 论文基本信息
  • 领域：分类网络设计
  • 作者单位：FAIR
  • 发表时间：CVPR 2020
• 一句话总结：从统计学的角度解释，应该怎么样设计网络搜索空间，哪些要素是有用的

1. 要解决什么问题

• 主要处理网络设计问题。
  • 之前网络设计一般着重于设计 individual network instances，而本文主要设计的是 network design spaces。
• 如何区分 individual network instances 与 network design spaces?
  • 文章中提到，LeNet/AlexNet/VGG/ResNet 不仅仅是 individual network instances，还帮助我们理解网络结构，提出了新的设计原则，这就提出了network design spaces。
  • 上面四个网络分别告诉我们，卷积操作/网络与数据量/网络深度/残差结构 的重要性。
• 之前网络设计的方式：
  • 手工设计：能得到很好的结果，但随着研究的深入，要找到好的结构越来越困难。
  • NAS：能在一个固定的搜索空间中找到最优的结果，但效率一般，且存在很多限制。限制有
    • 搜索到的网络结构针对的是特定的设置（如某个硬件平台），通用性不好。
    • 找不到network design principles，不能帮助我们理解网络结构。
• 希望能够找到网络设计的一些设计准则（design principles），要求简洁/性能好/通用性好

2. 用了什么方法

• 基本概念
  • 本文基本思路： sample models from a design space, giving rise to a model distribution, and turn to tools from classical statistics to analyze the design space.
  • 为了实现上述思路，需要有一套基本工具
    • 比较两个 design space 时，1)对比若干model的error分布，2)对比两个space的最优模型。前者更合理一些。
    • 以下图为例，最开始的design space 是A，经过两次 refinement steps 后获得design space B/C，分别训练三个 design space 的若干模型，得到错误率分布如右图，从错误率看C>B>A，表示这两次 refinement steps 都不错。
    • 
  • 其他一些细节
    • 在训练模型时，只在ImageNet上训练10epochs。
    • 比较design space优劣的参数是EDF（empirical distribution function），定义如下：$$F(e)=\frac{1}{n}\sum _{i=1}^{n}1[e_i<e]$$
  • 本文提出的方法与NAS的区别
    • NAS是想找到一个最好的模型。
    • 本文的目标是找到模型设计准则。
  • RegNet的来历： obtain a simplified design space consisting of only regular network structures that we name RegNet
• 在确定了 tools for design space design 后，开始具体操作
  • 注意，AnyNet/AnyNetXa/AnyNetXb等可以看做是不同的设计空间，两个空间的模型训练结果比较，如果有提升说明限制条件有效，否则就是无效/反作用
  • 第一步：AnyNet，给出一个基本网络结构，包含所有网络设计要素，基于这些要素通过控制变量训练模型，得到统计结果并观察。
    • 基本网络结构如下图，包括stem/body/head三个部分，设计时主要关注的就是body
    • 基本的设计要素包括：bottleneck ratio/group/width/depth.
    • AnyNet主要设计目标是：领结构更简单、解释性更强、提升design space的质量、保持design space的多样性。
    • 借用这里的一张图能更好地说明上述过程
  • 第二步：RegNet，在上一步 AnyNetXE 的基础上对 block index/width/depth 在进行处理。
    • 通过上面的实验可以看出：好网络的宽度和深度是可以用量化的线性函数来解释的。
    • 为了更好的理解模型结构设计，统计上一步中最后的模型 AnyNetXE中最好的20个模型，通过即线性回归归纳 block index 与 width 的区别关系……
    • 
  • 第三步：验证不同setting下，同一套结论也能用
• 总体 design space 的变化
  • 
• 大佬总结的本文结论
  • 

3. 效果如何

• 与EfficientNet的对比

  

4. 还存在什么问题

• 最新可能需要与MoBileNetV3比了，但没有。
• 看的不是特别懂，如果需要了解细节，需要反复看。