网络结构搜索 (NAS: Network Architecture Search)

最新推荐文章于 2025-03-12 19:14:21 发布

Law-Yao

最新推荐文章于 2025-03-12 19:14:21 发布

阅读量8.5k

点赞数 7

分类专栏：深度学习模型压缩文章标签：深度学习网络结构搜索模型压缩

本文链接：https://blog.csdn.net/nature553863/article/details/103825717

版权

本文详细介绍了网络结构搜索（NAS）的概念，包括其在自动化搜索最优网络结构中的应用，以及如何在目标检测任务中进行NAS-FCOS的搜索。NAS-FCOS是一个快速的神经网络架构搜索方法，它在FCOS的基础上改进了FPN和检测头的结构。文章还探讨了搜索策略、搜索空间设计，并提到了DetNAS，一种用于目标检测的backbone搜索方法，它避免了昂贵的ImageNet预训练过程。此外，文章讨论了DARTS和XNAS等其他NAS方法，并展示了实验结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

NAS Definition

基于搜索策略，并结合约束条件 (如accuracy、latency)，在搜索空间内 (set of candidate operations or blocks)探索最优网络结构、或组件结构 (如detector的backbone、FPN)；
高效的NAS算法，通常是Trade-off between data-driven and experience-driven，data-driven实现高效率、自动化搜索，experience-driven减小搜索空间、降低过拟合；
Proxy task: 评估搜索结果 (searched architecture)；

NAS-FCOS: Fast Neural Architecture Search for Object Detection

GitHub (PyTorch): https://github.com/Lausannen/NAS-FCOS
Related work:
- NAS-FPN: https://github.com/DetectionTeamUCAS/NAS_FPN_Tensorflow
- FCOS: https://github.com/tianzhi0549/FCOS
  - Per-pixel prediction in bbox without prior anchors，类似于EAST OCR检测；
  - Multi-level prediction (FPN)，消除bbox重叠区域内的ambiguity；
  - Center-ness for filtering out the low-quality bboxes；

Motivation:
- 为one-stage anchor-free detector (well known FCOS)搜索FPN与detection head:
  - 如何从backbone选取特征，并如何构造FPN、输出multi-level features；
  - 当FPN features共享同一个head时，如何确定head的结构；
Search Space：
- 将FCOS视作encoder-decoder架构，backbone表示encoder，FPN与head表示decoder；
- FPN由一系列basic block (bbt)构成，对backbone提取特征C={C2, C3, C4, C5}、以及bbt输出特征执行merge操作：
  - basic block (bbt)基本结构：
  - candidate ops（搜索空间）：

最低0.47元/天解锁文章