CVPR2021论文整理

本文介绍了五种神经网络架构搜索(NAS)的最新研究进展,包括基于随机标签、轻量化Transformer、对比学习、相对评价和小时glass视角的方法。这些方法降低了搜索成本,提升了模型性能,尤其在密集预测任务上表现突出。通过比较与基准结构、计算角度指标、使用相对评价和对比学习,研究人员不断优化NAS过程,以实现更高效率和精度的模型搜索。
摘要由CSDN通过智能技术生成

1 NAS

[1] Neural Architecture Search with Random Labels
paper: https://arxiv.org/abs/2101.11834
code: https://github.com/megvii-model/RLNAS
核心思想: 提出了一种基于随机标签的nas算法, 即搜索阶段不需要真实标签训练模型和评估模型指标, 通过计算初始权重与当前训练权重的角度指标(类似余弦相似性指标)来评估模型的收敛性,收敛性快的模型是更优的模型。

[2] HR-NAS: Searching Efficient High-Resolution Neural Architectures with Lightweight Transformers
paper: https://arxiv.org/abs/2106.06560
code: https://github.com/dingmyu/HR-NAS
核心思想:提出了一个轻量化的transformer结构并融合卷积层作为nas搜索空间, 获取全局上下文和高分辨信息, 提高了在稠密的预测任务上(如分割、检测、姿态估计等)的表现。

[3] Contrastive Neural Architecture Search with Neural Architecture Comparators
paper: https://arxiv.org/abs/2103.05471
code: https://github.com/chenyaofo/CTNAS
核心思想:在nas搜索中, 不直接进行模型性能评估和基于预测器的评估方法,而是通过与一个baseline的结构的比较得出性能好坏。 虽然同样需要预测器评估2个架构的好坏, 但这只相当于一个二分类问题, 预测的难度以及用来训练预测器的数据需求更少。

[4] ReNAS: Relativistic Evaluation of Neural Architecture Search
paper: https://arxiv.org/abs/1910.01523
code: None
核心思想:在nas中采用预测器进行模型评估, 并提出了一种ranking loss, 预测模型的相对指标而不是绝对指标。

[5] HourNAS: Extremely Fast Neural Architecture Search Through an Hourglass Lens
paper: https://arxiv.org/abs/2005.14446
code: None
核心思想: 把模型的blocks分为非常重要的和不太重要的2部分, 非常重要的blocks决定了模型的最终精度。 通过2阶段的搜索优化, 优先满足非常重要的blocks的搜索, 然后添加上不太重要的blocks,最终得到既有高精度, 同时又满足资源约束的优秀模型。

持续更新中, 欢迎讨论。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值