CVPR2021论文整理

最新推荐文章于 2022-06-09 17:39:26 发布

leo0308

最新推荐文章于 2022-06-09 17:39:26 发布

阅读量184

点赞数

分类专栏：论文解读文章标签：机器学习深度学习自然语言处理

本文链接：https://blog.csdn.net/leo0308/article/details/120049304

版权

论文解读专栏收录该内容

23 篇文章 3 订阅

订阅专栏

本文介绍了五种神经网络架构搜索(NAS)的最新研究进展，包括基于随机标签、轻量化Transformer、对比学习、相对评价和小时glass视角的方法。这些方法降低了搜索成本，提升了模型性能，尤其在密集预测任务上表现突出。通过比较与基准结构、计算角度指标、使用相对评价和对比学习，研究人员不断优化NAS过程，以实现更高效率和精度的模型搜索。

摘要由CSDN通过智能技术生成

1 NAS

[1] Neural Architecture Search with Random Labels
paper: https://arxiv.org/abs/2101.11834
code: https://github.com/megvii-model/RLNAS
核心思想：提出了一种基于随机标签的nas算法，即搜索阶段不需要真实标签训练模型和评估模型指标，通过计算初始权重与当前训练权重的角度指标（类似余弦相似性指标）来评估模型的收敛性，收敛性快的模型是更优的模型。

[2] HR-NAS: Searching Efficient High-Resolution Neural Architectures with Lightweight Transformers
paper: https://arxiv.org/abs/2106.06560
code: https://github.com/dingmyu/HR-NAS
核心思想：提出了一个轻量化的transformer结构并融合卷积层作为nas搜索空间，获取全局上下文和高分辨信息，提高了在稠密的预测任务上(如分割、检测、姿态估计等)的表现。

[3] Contrastive Neural Architecture Search with Neural Architecture Comparators
paper: https://arxiv.org/abs/2103.05471
code: https://github.com/chenyaofo/CTNAS
核心思想：在nas搜索中，不直接进行模型性能评估和基于预测器的评估方法，而是通过与一个baseline的结构的比较得出性能好坏。虽然同样需要预测器评估2个架构的好坏，但这只相当于一个二分类问题，预测的难度以及用来训练预测器的数据需求更少。

[4] ReNAS: Relativistic Evaluation of Neural Architecture Search
paper: https://arxiv.org/abs/1910.01523
code: None
核心思想：在nas中采用预测器进行模型评估，并提出了一种ranking loss，预测模型的相对指标而不是绝对指标。

[5] HourNAS: Extremely Fast Neural Architecture Search Through an Hourglass Lens
paper: https://arxiv.org/abs/2005.14446
code: None
核心思想：把模型的blocks分为非常重要的和不太重要的2部分，非常重要的blocks决定了模型的最终精度。通过2阶段的搜索优化，优先满足非常重要的blocks的搜索，然后添加上不太重要的blocks,最终得到既有高精度，同时又满足资源约束的优秀模型。

持续更新中，欢迎讨论。