【小结】除了网络搜索(NAS)，AutoML对深度学习模型优化还有哪些贡献？

最新推荐文章于 2023-12-31 01:46:51 发布
最新推荐文章于 2023-12-31 01:46:51 发布
阅读量382 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hacker_long/article/details/103397047
版权

文/编辑 | 言有三

自从Google提出AutoML技术以来，已经过去了好几年了，如今在学术界和工业界都是热点。AutoML在网络结构的搜索上已经取得了非常多的突破，相关的文章，技术博客都已经广为流传，那么除了在网络结构本身的搜索上，AutoML技术对于深度学习模型的优化还有哪些贡献呢？本文就来简要总结这个问题。

1 数据增强

数据增强是深度学习模型训练的必备良药，写论文刷比赛提指标的大杀器。传统的数据增强方法以各类通过参数控制的预设几何变换和颜色变换为主，如果让模型针对具体的任务自动学习数据增强，理论上会更加智能，这便是基于AutoML的数据增强技术，它主要是用于自动学习数据增强策略，包括选择哪一个操作，什么时候应用该操作。

AutoML与数据增强

2 激活函数

激活机制是一个网络非线性表达能力的来源，早期研究人员已经设计出了不少的激活函数，从sigmoid到relu系列，随着AutoML技术的发展，现在研究人员开始使用搜索技术来进行设计，提出了Swish及更多的变种。

AutoML与激活函数

3 归一化方法

数据经过归一化和标准化后可以加快梯度下降的求解速度，这是Batch Normalization等技术非常流行的原因，它使得可以使用更大的学习率更稳定地进行梯度传播，甚至增加网络的泛化能力。当前归一化方法非常多，那怎么选择呢？每一个网络层中都使用同样的归一化，这是最优的配置吗？不如交给AutoML来自动配置。

AutoML与归一化

4 优化方法

要成功训练一个深度学习模型，正确的优化策略是非常重要的，如果使用不当结果会产生很大的差异，然而要熟练使用，需要大量的工程经验和深厚的理论基础，那么能不能使用AutoML来减轻这个负担呢？

AutoML与优化方法

5 优化目标

一个有效的损失函数在深度学习任务中起了关键作用，然而损失函数都是人为设定，不仅需要有经验的人员进行反复尝试，也往往只能获得次优的方案，如果可以让模型自动对优化目标进行学习，将有望以更低的成本学习到更优的模型。

AutoML与优化目标

6 模型剪枝

我们给大家介绍过各种各样的模型压缩技巧，其中模型剪枝是一个研究已久，也非常考验工程素质的方向，那能否使用AutoML技术来进行剪枝呢？

AutoML与模型剪枝

7 模型量化

模型量化是深度学习模型压缩的大杀器，当前大部分框架对整个模型采用同样的位宽进行量化，以HAQ(Hardware-Aware Automated Quantization with Mixed Precision)为代表的方法则是一个自动化的混合精度量化框架，使用AutoML技术让每一层都学习到了适合该层的量化位宽，又有什么优势呢？

AutoML与模型量化

8 更多模型设计与优化内容

我们公众号最多的就是模型设计相关的内容，包括主流的模型设计思想，三次长达一个小时的阿里天池模型设计直播，知识星球的网络结构1000变板块，感兴趣的粉丝可以自取。

主流模型设计

3次阿里天池直播

知识星球网络结构

有三AI秋季划

有三AI秋季划已经正式启动报名，模型优化，人脸算法，图像质量共24个项目，助力提升深度学习计算机视觉算法和工程项目能力。
有三AI秋季划出炉，模型优化，人脸算法，图像质量等24个项目等你来拿

转载文章请后台联系

侵权必究

近期精选

言有三
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
神经架构搜索(Neural Architecture Search,NAS)介绍
fengmaomao1991的专栏
11-10 7020
@[TOC](神经架构搜索(Neural Architecture Search,NAS)介绍) Introduction 在现今电脑视觉的领域当中，CNN 已经可以达到非常高甚至超越人类的精确度，但随之而来的代价就是追求更深更大的网路所造成的高复杂度（例如:大量的记忆体需求，大量的运算），因此对于在有限资源的硬体设备（例如：手机，嵌入式系统）中应用产生了巨大的挑战，因为我们总不可能在每一台手机每一台监视器，都放一张 1080Ti 或是 2080Ti，所以现今的网路需求除了对于精确度的要求，也慢慢开始注重效
神经网络架构搜索
m0_74079109的博客
12-20 1761
神经网络架构搜索是为给定数据集自动找到一个或多个架构的任务，这些架构将为给定的数据集生成具有良好结果的模型，其本质是在高维空间的最优参数搜索问题。
神经网络结构搜索Neural Architecture Search
jinxianwei1999的博客
01-09 1328
神经网络结构搜索
自动化机器学习（三）神经网络架构搜索综述(NAS)简述
FontTian的博客
08-20 3890
自动化机器学习就是能够自动建立机器学习模型的方法，其主要包含三个方面：方面一，超参数优化；方面二，自动特征工程与机器学习算法自动选择；方面三，神经网络结构搜索。本文侧重于方面三，神级网络结构搜索。自动化机器学习的前两个部分，都有一个特点——只对现在已有的算法进行搜索，而不创造新的算法。一般而言机器学习专家在开发机器学习应用或者构建机器学习模型时，都不太可能从头造轮子，直接创造一个新的算法。但是到了深度神经网路的时候，就发生了一些变化。严格意义上来说，神经网络的基本结构都是固定的，有限的。
神经架构搜索的主要概念：理解基本原理
禅与计算机程序设计艺术
12-29 1112
1.背景介绍 神经架构搜索(Neural Architecture Search, NAS)是一种自动设计神经网络的方法，它可以帮助我们找到一个高性能的神经网络架构，而无需手动设计。在过去的几年里，NAS已经取得了显著的进展，成为一种热门的研究领域。在这篇文章中，我们将讨论NAS的基本原理，以及如何使用NAS来设计高性能的神经网络。 1.1 神经网络的复杂性 神经网络的复杂性主要体现在以下几...
automl-神经架构搜索(NAS)-综述
01-06
搜索空间定义了NAS算法可以搜索的神经网络的类型，同时也定义了应该如何描述神经网络结构。神经网络所实现的计算可以抽象成一个无孤立节点的有向无环图（DAG），图的节点代表神经网络的层（卷积网络中的特征图），边...
单路径NAS：导出设备优化网络的快速神经网络架构搜索技术
04-12
单路径NAS：导出设备优化网络的快速神经网络架构搜索技术，Thoughts on Single-Path NAS — A fast neural architecture search technique for deriving a device-optimized network。
Awesome-AutoDL：精选的自动化深度学习（包括神经体系结构搜索和超参数优化）资源列表
01-31
Awesome-AutoDL：精选的自动化深度学习（包括神经体系结构搜索和超参数优化）资源列表
nni：用于自动化机器学习生命周期的开源AutoML工具包，包括功能工程，神经体系结构搜索，模型压缩和超参数调整
02-04
该工具管理自动机器学习（AutoML）实验，调度和运行由调整算法生成的实验性试验工作，以搜索最佳训练条件下的最佳神经体系结构和/或超参数，例如，， ， ， ， ， ， ，其他云选项甚至。谁应该考虑使用NNI 那些想在...
网络存储NAS源码，附带数据库，解压可用
05-27
NAS网络存储系统/Web服务器，网站源代码，附带数据库。直接解压即可使用！ 具体支持列表： 网络存储系统 远程下载 Mini全能管理系统 图片Web管理系统 个人博客 外网支持 默认密码：123456 默认密码：123456 默认...
神经架构搜索鲁棒性（来源于CVPR 2020-港中文-MIT ）.pdf
04-08
对抗攻击的最新进展揭示了现代深层神经网络的内在弱点。从那时起，人们就致力于通过专门的学习算法和损失函数来增强深度网络的鲁棒性。在这项工作中，我们从体系结构的角度研究了网络体系结构的模式，这些模式对对抗攻击具有弹性。
最新《神经架构搜索NAS》（来自西北大学）
06-05
神经架构搜索Neural Architecture Search (NAS)是深度学习研究热点。NAS旨在通过使用有限的计算资源，以尽可能少的人工干预的自动化方式设计具有最佳性能的网络架构。西北大学等学者发布了关于神经架构搜索的综述论文，对NAS进行了全面、系统的综述。
神经架构搜索
JYliangliang的博客
03-25 3592
Neural Architecture Search 神经架构搜索 简介 ResNet、Inception、DenseNet 自动设计神经网络的技术，通过算法根据样本集自动设计出高性能的网络结构 有效降低神经网络的使用和实现成本 原理 搜索空间、搜索策略、性能评估策略 给定一个称为搜索空间的候选神经网络结构集合。 搜索空间，搜索策略，性能评估策略是NAS算法的核心要素。 搜索空间 可以搜索的神经网络结构的集合，即解的空间 搜索策略 如何在搜索空间中寻找最优网络结构 性能评估策略 如何评
【6s965-fall2022】神经架构搜索 Neural Architecture Search
KiloGrand
02-07 1050
在很长一段时间里，研究人员都是手动设计神经网络的架构。神经网络架构的设计空间非常大，它包括。因此，手动调整这些参数非常困难。而NAS，可以帮助研究人员在多种效率和精度指标限制下，自动调整这些参数。因此，在本文，我们学习OFA，这种方法可以大大降低为不同设备专门设计NN架构的成本。
21年 46篇神经架构搜索(Neural Architecture Search) ICCV CVPR Survey 笔记 (1-20)
miss_the_boat的博客
03-11 6912
1. FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining 2.Activate or Not: Learning Customized Activation 3.Dynamic Slimmable Network 4.AttentiveNAS: Improving Neural Architecture Search via Attentive Sampling
神经架构搜索的算法与技巧
禅与计算机程序设计艺术
12-30 1061
1.背景介绍 神经架构搜索(Neural Architecture Search, NAS)是一种自动设计神经网络的方法，它可以帮助我们自动发现高效的神经网络架构。在过去的几年里，NAS已经取得了显著的进展，成为一种热门的研究领域。 NAS的核心思想是通过优化神经网络的结构，以便在给定的计算资源和准确性要求下，找到最佳的性能。这一过程通常包括以下几个步骤： 定义一个搜索空间，该空间包含了可...
神经架构搜索与知识图谱：如何提高推理能力
最新发布
禅与计算机程序设计艺术
12-31 976
1.背景介绍 神经架构搜索（Neural Architecture Search, NAS）和知识图谱（Knowledge Graph, KG）都是人工智能领域的热门话题。在过去的几年里，我们已经看到了这些技术在各个领域的应用，如图像识别、自然语言处理和推理能力等。在本文中，我们将探讨这两个领域的相互关系以及如何通过结合它们来提高推理能力。
神经架构搜索的综合调查：挑战和解决方案(一)
顾道长生的知识库
11-30 1093
深度学习以其强大的自动表示能力在很多领域取得了突破和实质性进展。已经证明，神经架构设计对于数据的特征表示和最终性能至关重要。然而，神经架构的设计在很大程度上依赖于研究人员的先验知识。并且由于人类固有知识的局限性，人们很难跳出原有的思维范式，设计出最优模型。因此，一个直观的想法是尽可能减少人为干预，让算法自动设计神经架构。神经结构搜索（Neural Architecture Search，NAS）就是这样一种革命性的算法，相关的研究工作复杂而丰富。因此，对NAS进行全面系统的调查是必不可少的。
神经网络结构搜索
RayChiu757374816的博客
08-26 3484
整理了一些神经网络结构搜索的论文解读资料
网络模型设计中的nas搜索是指什么
06-08
NAS（Neural Architecture Search）搜索是一...NAS搜索可以大大提高神经网络模型设计的效率和准确性，尤其是在大规模数据和复杂任务下。它可以帮助深度学习研究人员和工程师快速地设计出更加高效和精准的神经网络模型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值