PR1: DARTS（DIFFERENTIABLE ARCHITECTURE SEARCH）

已于 2023-03-06 17:11:36 修改
阅读量400 收藏
点赞数
分类专栏： 深度学习 文章标签： python 算法 人工智能
于 2022-08-06 16:23:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43418716/article/details/126191700
版权

DARTS

创新点：

  • 以前NAS文章可以知道，不管是基于RL、进化算法、还是SMBO，最大的问题都无法通过传统深度学习那样通过Loss的梯度来更新。
  • DARTS可以把网络模型以可微分参数化的形式实现。

基本思路

  • 采用Cell和Block的设计方法
  • Cell里的所有Block的可能性架构参数化
  • DARTS搜索阶段训练的Cell架构是所有可能性的集合
  • 在验证集上对Cell的架构参数求导优化
    使搜索空间连续代替离散的搜索空间，使得搜索空间可以被优化，使得搜索空间可以连续化

可微分搜索空间

DARTS中最小的搜索单位是以Cell的形式，也是一个DAG。
框表示cell，边表示一个operation。在这里插入图片描述

  • 算法流程在这里插入图片描述

  • DARTS在CIFAR-10数据集上的结果，以及在GPU所花的时间。
    在这里插入图片描述

  • Plot出来的网络格式图

在这里插入图片描述

  • 结果展示
    在这里插入图片描述
Carl-ZHAN
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【论文笔记】Darts-可微神经架构搜索（一）
weixin_41075215的博客
01-01 1623
是什么 darts是什么？ 全称 Differentiable ARchiTecture Search 它是一种新（2018）的NAS（神经架构搜索）方法。 NAS是什么？ 全称： neural architecture search（神经架构搜索） 简单讲就是把设计神经网络的任务也交给机器。 企图把人工炼丹的过程一步步转化为机器炼丹。 具体说可以看看wiki上的定义： 也就是一般的NAS都会包含三个部分： 搜索空间 搜索算法 预估算法（优化算法）...
在DARTS空间中进行神经架构搜索(NAS)
qq_20144897的博客
05-04 1万+
在DARTS空间中进行神经网络架构搜索，
神经架构搜索DARTS代码讲解和问题解决
最新发布
m0_62131932的博客
04-29 328
神经架构搜索代码中遇见的问题
自动搜索网络-darts
gaotihong的博客
05-25 363
之前的方法，采用RNN + RL，那个代价太大。 本节介绍的方法，是常用的方法。 Darts：目标函数是NN结构超参数的可微函数，于时可以对目标函数，关于超参数求梯度，直接用梯度来更新超参数。这样不用RL，更好的找到RL。 FBNet：是Darts的特例。 基本思想 用户需要手动定义一些模块，作为候选方案，例如：9中候选模块，包含conv以及其他。《候选模块越多，计算量越大，搜索越慢》。 图为9个候选框的一个。 输入为张量；经过conv，输出张量，其维度和输入相同。然后采用直连。 用户
(ICLR-2019)DARTS：可微分架构搜索
顾道长生的科研笔记
12-03 2002
本文通过以可微分的方式制定任务来解决架构搜索的可扩展性挑战。与传统的在离散的、不可微分的搜索空间上应用进化或强化学习的方法不同，我们的方法是基于架构表示的连续松弛，允许使用梯度下降法有效搜索架构。在CIFAR-10、ImageNet、Penn Treebank和WikiText-2上的大量实验表明，我们的算法在发现用于图像分类的高性能卷积架构和用于语言建模的循环架构方面表现出色，同时比最先进的不可微分技术快了几个数量级。我们的实现已公开，以促进对高效架构搜索算法的进一步研究。发现最先进的神经网络架构需要人类
pr1：为此oop pr1
02-14
在这个名为"pr1"的项目中，我们可以推测这是一个关于C#语言中的面向对象编程实践项目。 在C#中，面向对象的四大核心概念是：封装、继承、多态和抽象。封装是将数据和操作这些数据的方法绑定在一起，形成一个独立的...
fit.pr1：Fakultetski存储库
02-18
标题 "fit.pr1：Fakultetski存储库" 暗示了这是一个与学术或教育机构相关的项目，可能是某个学院或大学的代码仓库。"fit" 可能是 "Faculty of Information Technology"（信息技术学院）的缩写，而 ".pr1" 有可能是...
dataIA2Pr1:可以通过Google Collaborate进行练习的文件
04-10
数据IA2Pr1项目主要涉及的是使用Google Collaborate进行协作学习和实践的文件集合。这个压缩包很可能是为一个数据分析或信息架构相关的课程或工作坊准备的，旨在帮助参与者通过团队合作来提升技能。Google ...
ECE276B_PR1:ECE 276B的项目1
03-21
ECE276B SP20 HW1编程分配 安装 安装 安装依赖项 pip install -r requirements.txt 跑步 python doorkey.py 输出示例（有关所有输出，请参见gif目录）
pr1:飘刃，约定大于配置的极速 Web 应用打包工具，支持 .vue 文件，生产使用 Rollup 打包
05-07
飘刃 (Piao Ren) 约定大于配置的极速 Web 应用打包工具，支持 .vue 文件，生产使用 Rollup 打包 仅供学习研究，请勿用于生产 仓库 【Github】 【 码 云 】 特点优势 速度快，开发过程中无需 babel 转译，飘刃只转 ...
DARTS：用概率模型使网络架构搜索变得可导
weixin_39078049的博客
09-29 794
数学就是知识，这是对DARTS最形象的概述。 不知道其他看官有没有这种感觉，深度学习在经过冗长的一段试错法发展（从AlexNet到DenseNet，其间催生了无数修改模型-有效-尝试解释-发文的臆测型模型修改水文）后，终于在AutoDL下成为了一种优化可解的方法。最近读到的很多方法，都使用了概率论相关的知识，不禁感慨：数学就是算法的根。 闲话少说，开始DARTS！ DARTS:可微分神经架构...
神经网络结构搜索之--DARTS: Differentiable architecture search
csuwoshikunge的博客
01-25 1088
neural architecture search--神经网络搜索
PDARTS 网络结构搜索程序分析
yiran103的专栏
08-24 2928
PDARTS 即 Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation，是对 DARTS 的改进。DARTS 内存占用过高，训练不了较大的模型；PDARTS 将训练划分为3个阶段，逐步搜索，在增加网络深度的同时缩减操作种类。过程如下图所示： 此外，算...
DARTS 可微 架构搜索
YueLing's Blog
08-07 7630
论文链接：Differentiable Architecture Search 源代码：quark0/darts 背景 我们现在主流的效果最好的两种方法，进化学习（evolution）和强化学习（Reinforcement），他们的搜索空间都是不可微的，而现在作者提出了一种可微的方法，可以用梯度下降来解决架构搜索的问题，所以效率可以比之前不可微的方法快几个数量级。可以这么通俗的理解：之前...
神经网络架构搜索——可微分搜索（DARTS）
u012347027的博客
05-17 4444
神经网络架构搜索——可微分搜索（DARTS）背景算法核心思想搜索空间Cell的组成优化策略生成最终Cell结构normal cell searchreduce cell search网络结构堆叠结果CIFAR-10ImageNet参考 背景 神经网络架构搜索之前主流的方法主要包括：强化学习，进化学习。他们的搜索空间都是不可微的，Differentiable Architecture Search 这篇文章提出了一种可微的方法，可以用梯度下降来解决架构搜索的问题，所以在搜索效率上比之前不可微的方法快几个数量级
PC-DARTS 网络结构搜索程序分析
yiran103的专栏
08-24 3518
PC-DARTS 仍出自华为诺亚方舟，相比前作 PDARTS 更加优雅。额外引入的一组权重参数可以提高性能。 main if not torch.cuda.is_available(): logging.info('no gpu device available') sys.exit(1) np.random.seed(args.seed) torch.cuda.se...
DARTS
热门推荐
AliceLeeHX的博客
03-19 2万+
DARTS Related Work 传统的NAS的方法： 1.基于强化学习的NAS 2.基于进化学习的NAS 现存优化传统NAS的方法： 1.搜索空间的特殊结构 2.单个结构的权重或者性能的预测 3.多个结构之间的权值共享 可以应用于NAS上的传统优化方法 1.强化学习 2.进化学习 3.MCTS 4.SMBO 5.Bayesian Optimization 以上方法并不能Work的...
Neural Architecture Search 之 P-DARTS
fengfan_tracking的博客
06-03 1645
之前介绍了DARTS（链接：https://blog.csdn.net/fengfan_tracking/article/details/90727133），在这篇博客中接着介绍P-DARTS。 P-DARTS GitHub链接：https://github.com/chenxin061/pdarts P-DARTS基于DARTS进行改进，主要的创新点为：在训练阶段（寻找cell的最佳结构）...
std::promise
07-27
search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值