![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络架构搜索(NAS)
文章平均质量分 94
AI异构
博士在读,关注人工智能,异构计算相关内容,不定期更新文章~
展开
-
CVPR2021 | AttentiveNAS:通过注意力采样改善神经架构搜索
AttentiveNAS:通过注意力采样改善神经架构搜索摘要动机Two-stage NAS传统 NAS 问题建模第一阶段:无约束的预训练第二阶段:资源约束的搜索Attentive Sampling NAS感兴趣的子网络Pareto-best architecture setPareto-worst architecture set帕累托感知预训练实验结果搜索空间基于高效性能估算的感知采样训练精度预测器的设置精度预测器有效性的结果与 SOTA 的 NAS 结果比较本文是 Facebook 发表在CVPR原创 2021-03-15 18:04:59 · 679 阅读 · 0 评论 -
APQ:联合搜索网络架构、剪枝和量化
APQ:联合搜索网络架构、剪枝和量化摘要动机联合优化策略细粒度通道剪枝的 OFA 网络Once-For-All 网络的搜索空间Once-For-All 网络的属性面向量化的精度预测器体系结构和量化策略编码精度预测器预测器转移到量化模型面向硬件的进化搜索测量延迟和能量资源受限的进化搜索实现细节量化感知精度预测器的数据准备进化架构搜索量化实验结果与SOTA高效模型的比较联合设计的有效性与MobileNetV2+HAQ对比与多阶段优化和BitOps对比预测器-转移的有效性本文为韩松团队发表在 ICCV 202原创 2020-12-27 22:37:52 · 1483 阅读 · 0 评论 -
DARTS-:增加辅助跳连,走出搜索性能崩溃
DARTS-:增加辅助跳连,走出搜索性能崩溃摘要Skip-Connect富集的两重原因方法结果CIFAR-10 和 ImageNetNAS-Bench-201本文是由美团,上交,小米,中科院联合发表的可微分神经网络架构搜索的文章,名为DARTS-。本文主要是解决skip-connect富集导致的训练不稳定问题。本文证明了跳连与其他候选操作相比具有明显的优势,它可以很容易地从劣势状态中恢复过来并成为主导,并提出用辅助跳过连接来剔除这种优势,确保所有操作的竞争更加公平。文章题目:DARTS-: robu原创 2020-11-15 14:50:48 · 635 阅读 · 1 评论 -
GOLD-NAS:针对神经网络可微分架构搜索的一次大手术
GOLD-NAS:针对神经网络可微分架构搜索的一次大手术DARTS目前的问题搜索空间受限双层优化不稳定离散化误差大GOLD-NAS的解决方案搜索空间重定义一阶段优化基于资源约束的渐进式剪枝GOLD-NAS 算法流程图结果帕累托边界CIFAR-10 结果ImageNet 结果本文是华为,清华与同济大学联合发表的基于可微分网络搜索的论文。本文基于传统DARTS搜索空间受限,二阶优化不稳定,超网络离散化误差大的这三个问题,对DARTS进行了一场全面的手术。本文针对上述三个问题提出了渐进式的(Gradual),原创 2020-10-18 19:56:41 · 633 阅读 · 1 评论 -
神经网络架构搜索——可微分搜索(DAAS)
神经网络架构搜索——可微分搜索(DAAS)摘要方法操作参数 α\alphaα 的离散化损失边参数 β\betaβ 的离散化损失基于信息熵的离散化损失损失函数作用的可视化实验结果CIFAR-10ImageNet消融实验Error离散化对比操作与边的可视化本文是华为基于可微分网络搜索的论文。本文基于DARTS搜索离散化后性能损失严重的问题,提出了离散化感知架构搜索,通过添加损失项(Discretization Loss)以缓解离散带来的准确性损失。论文题目:Discretization-Aware Ar原创 2020-09-10 13:45:10 · 775 阅读 · 0 评论 -
神经网络架构搜索——可微分搜索(Cyclic-DARTS)
神经网络架构搜索——可微分搜索(Cyclic-DARTS)摘要方法预训练联合学习网络架构S-Net -> E-NetE-Net -> S-Net算法伪代码实验NAS-Bench-201CIFARImageNet消融实验组件分析相关性分析评估网络的深度搜索轮数的影响总结本文为微软研究院的NAS工作,论文题目:Cyclic Differentiable Architecture Search。 传统的DARTS在浅层网络(8 Cell)中搜索最优架构,然后在深层评价网络(20 Cell)中测量其原创 2020-07-25 09:15:47 · 725 阅读 · 0 评论 -
神经网络架构搜索——二值可微分搜索(BATS)
二值可微分搜索(BATS)摘要方法搜索空间重定义标准 DARTS 搜索空间的问题二值神经网络搜索空间搜索的正则化和稳定性DARTS 搜索的不稳定分析温度正则(temperature regularization)二值搜索策略实验消融实验二值网络架构CIFARImageNet本文为三星发表在 ECCV 2020 的基于二值网络搜索的 NAS 工作(BATS),论文题目:BATS: Binary ArchitecTure Search。通过结合神经网络架构搜索,大大缩小了二值模型与实值之间的精度差距,并在C原创 2020-07-18 09:17:53 · 1444 阅读 · 0 评论 -
神经网络架构搜索——可微分搜索(Latency-DARTS)
神经网络架构搜索——可微分搜索(Latency-DARTS)摘要动机方法延迟预测模块(LPM)数据收集训练细节延时预测结果可微分时延损失定义时延损失嵌入到搜索的Loss中实验CIFARImageNet总结本文为华为诺亚的NAS工作,针对DARTS搜索出网络结构往往对硬件不友好的问题,本文在优化中加入可微分的时延损失项,使搜索过程可以在精度和时延之间进行平衡系数的权衡。论文题目:Latency-Aware Differentiable Neural Architecture Search论文地址:h原创 2020-07-11 16:01:51 · 1085 阅读 · 0 评论 -
神经网络架构搜索——可微分搜索( DARTS+)
神经网络架构搜索——可微分搜索( DARTS+)动机方法实现早停准则1早停准则2实验结果CIFARTiny-ImageNet-200ImageNet华为诺亚方舟实验室的NAS工作,针对现有DARTS框架在搜索阶段训练过程中存在 skip-connection 富集现象,导致最终模型出现大幅度的性能损失的问题,提出了一种可微分的神经网络架构搜索算法DARTS+,将**早停机制(early stopping)**引入到原始的 DARTS算法中,不仅减小了 DARTS 搜索的时间,而且极大地提升了 DARTS原创 2020-07-04 10:52:12 · 1299 阅读 · 1 评论 -
神经网络架构搜索——可微分搜索 (Noisy-DARTS)
神经网络架构搜索——可微分搜索 (Noisy-DARTS)动机FairDARTS: Sigmoid函数替换Softmax函数NoisyDARTS:skip-connection注入噪声方法实现如何加噪声?加入怎样的噪声?实验结果架构参数可视化CIFAR-10实验结果ImageNet实验结果消融实验有噪声 vs. 无噪声无偏噪声 vs. 有偏噪声高斯噪声 vs. 均匀噪声加性噪声 vs. 乘法噪声小米实验室 AutoML 团队的NAS工作,针对现有DARTS框架在搜索阶段训练过程中存在 skip-con原创 2020-07-01 20:18:24 · 1228 阅读 · 0 评论 -
神经网络架构搜索——可微分搜索(Fair-DARTS)
神经网络架构搜索——可微分搜索(Fair-DARTS)动机skip-connection 富集现象skip connections 的不公平优势softmax 的排外竞争部署训练的离散化差异(discretization discrepancy)方法sigmoid 函数替换 softmax0-1 损失函数l2 0-1 损失函数l1 0-1 损失函数实验CIFAR-10精度比较skip connections 数量比较ImageNet精度比较sigmoid 函数的共存性消融实验去掉 Skip Connecti原创 2020-07-01 20:12:49 · 1153 阅读 · 0 评论 -
神经网络架构搜索——可微分搜索(SGAS)
神经网络架构搜索——可微分搜索(SGAS)动机方法整体思路三个指标边的重要性选择的准确性选择的稳定性两种评估准则评估准则1:评估准则2:实验结果CIFAR-10(CNN)ImageNet(CNN)ModelNet40(GCN)PPI(GCN)参考KAUST&Intel发表在CVPR 2020上的NAS工作,针对现有DARTS框架在搜索阶段具有高验证集准确率的架构可能在评估阶段表现不好的问题,提出了分解神经网络架构搜索过程为一系列子问题,SGAS使用贪婪策略选择并剪枝候选操作的技术,在搜索CNN和原创 2020-05-17 15:32:50 · 1265 阅读 · 0 评论 -
神经网络架构搜索——可微分搜索(PC-DARTS)
神经网络架构搜索——可微分搜索(PC-DARTS)动机贡献点方法部分通道连接(Partial Channel Connection)边缘正规化(Edge Normalization)实验结果CIFAR-10ImageNet消融实验参考华为发表在ICLR 2020上的NAS工作,针对现有DARTS模型训练时需要 Large memory and computing 问题,提出了 Partial Channel Connection 和 Edge Normalization 的技术,在搜索过程中更快更好。原创 2020-05-17 15:30:55 · 2034 阅读 · 1 评论 -
神经网络架构搜索——可微分搜索(P-DARTS)
神经网络架构搜索——可微分搜索(P-DARTS)动机方法实验结果CIFAR-10ImageNet参考华为发表在 ICCV 2019上的NAS文章,致力于解决在 proxy 训练与 target 测试的模型 depth gap 问题。Paper: Progressive Differentiable Architecture Search:Bridging the Depth Gap between Search and EvaluationCode: https://github.com/chen原创 2020-05-17 15:28:29 · 774 阅读 · 0 评论 -
神经网络架构搜索——可微分搜索(DARTS)
神经网络架构搜索——可微分搜索(DARTS)背景算法核心思想搜索空间Cell的组成优化策略生成最终Cell结构normal cell searchreduce cell search网络结构堆叠结果CIFAR-10ImageNet参考背景神经网络架构搜索之前主流的方法主要包括:强化学习,进化学习。他们的搜索空间都是不可微的,Differentiable Architecture Search 这篇文章提出了一种可微的方法,可以用梯度下降来解决架构搜索的问题,所以在搜索效率上比之前不可微的方法快几个数量级原创 2020-05-17 15:25:22 · 4492 阅读 · 0 评论