【重磅】谷歌WANN成果解析&AutoML新书下载 | AutoML

最新推荐文章于 2019-12-06 17:28:33 发布
最新推荐文章于 2019-12-06 17:28:33 发布
阅读量395 收藏 2
点赞数


今天，你AI了没？

关注：决策智能与机器学习，学点AI干货


作者 | DeepRL

来源 | WANN论文，awesone-automl-paper

出处 | 深度强化学习算法（ID：Deep-RL）


AutoML是探索自动化机器学习的方向，包括传统的集成学习、热门的神经网络架构搜索以及历史悠久的演化计算等，都是寻求一种通用人工智能建模方法的答案。本文开篇介绍了AutoML的基本情况，解析了谷歌大脑David Ha等人的论文《Weight Agnostic Neural Networks》该成果可以说是宣告了深度学习分层编码特征这一解释寿终正寝。文末推荐了一本Frank Hutter等人编写的AutoML新作，包含了神经网络搜索等AutoML方法。


AutoML重磅新书、谷歌WANN论文下载，微信公众号回复：20190618

Part 1 AutoML


640?wx_fmt=png

640?wx_fmt=png

传统上，术语AutoML用于描述模型选择和/或超参数优化的自动化方法。这些方法适用于许多类型的算法，例如随机森林，梯度提升机器（gradient boosting machines），神经网络等。 AutoML领域包括开源AutoML库，研讨会，研究和比赛。初学者常常觉得他们在为模型测试不同的超参数时通常仅凭猜测，而将这部分过程的自动化可以使机器学习变得更加容易。即使是对经验丰富的机器学习从业者而言，这一自动化过程也可以加快他们的速度，过程结构如下所示：

640?wx_fmt=png

目前，业内现存有许多AutoML库，其中最早出现的AutoWEKA，它于2013年首次发布，可以自动选择模型和超参数。其他值得注意的AutoML库包括auto-sklearn（将AutoWEKA拓展到了python环境），H2O AutoML和TPOT。 AutoML.org（以前被称为ML4AAD，Machine Learning for AutomatedAlgorithm Design）小组，自2014年以来一直在ICML机器学习学术会议上组织AutoML研讨会。

那么AutoML包含了那些内容呢？下图是一张思维导图：

640?wx_fmt=png

目前由很多公司已经开源了一部分库（后续陆续更新），大致如下：

640?wx_fmt=png

其中AutoML所做的内容包含了以下：

640?wx_fmt=png



Part 2 WANN技术



640?wx_fmt=png


640?wx_fmt=gif


WANN的核心思想：

为了寻找具备强归纳偏置的神经网络架构，研究者提出通过降低权重重要性的方式来搜索架构。具体步骤为：

  • 1）为每一个网络连接提供单一的共享权重参数；

  • 2）在较大的权重参数值范围内评估网络。

该研究没有采用优化固定网络权重的方式，而是优化在大范围权重值上都有良好性能的架构。研究者证明，该方法可生成使用随机权重参数执行不同连续控制任务的网络。使用 权重无关的神经网络搜索创建编码解的网络架构与神经架构搜索（NAS）解决的问题有着本质上的区别。NAS 技术的目标是生成训练完成后能够超越人类手工设计的架构。从来没有人声称该解是该网络架构所固有的，而传统使用的梯度下降法训练的网络结构是固定。

搜索权重无关的神经网络WANN的流程如下：

  • 创建最少神经网络拓扑结构的初始群组；

  • 在多个 rollout 上对每个网络进行评估，每个 rollout 分配一个不同的共享权重值；

  • 根据网络的性能和复杂度对其进行排序；

  • 通过改变排名最高的网络拓扑结构创建新的群组，这些拓扑结构是通过锦标赛选择法（tournament selection）根据概率选择的。

  • 接下来，算法从第二步开始重复，生成复杂度递增的权重无关拓扑结构，其性能优于之前的几代。

于是，搜索到的在BipedalWalker中表现最好的网络结构如下图所示：

640?wx_fmt=png

本质上神经网络的学习，就是搜索最优参数，只是参数的搜索可以利用到梯度信息进行辅助（网络结构固定，其实是最优化一个多目标参数过程）。但该论文的计算量在于网络结构，而结构的学习，由于惩罚值和结构之间缺乏梯度信息交互，所以大部分只能通过搜索来做，以下是论文的计算资源:96-core CPU

640?wx_fmt=png

论文博客地址: https://weightagnostic.github.io/
论文arxiv: https://arxiv.org/pdf/1906.04358.pdf

然而这种计算资源，普通的研究者都不能够满足,所以接下来介绍使用AutoML(包含了前面的网络搜索技术)技术，以便帮助大家在方法上有新的创新。


640?wx_fmt=png


重磅新书 ：《Automatic Machine Learning: Methods, Systems, Challenges》

该书由Frank Hutter, Lars Kotthoff, Joaquin Vanschoren撰写，221页的草稿版本已经放出，详细讲解了所有AutoML系统背后的基础知识，以及对当前AutoML系统进行了深入描述，Auto-WEKA、Hyperopt-Sklearn、Auto-sklearn等，最后介绍了AutoML的挑战。以下是书的目录（网络搜索见第3章）

640?wx_fmt=png640?wx_fmt=png640?wx_fmt=png640?wx_fmt=png

Reddit关于WANN讨论地址：

https://www.reddit.com/r/MachineLearning/comments/bzka5r/r_weight_agnostic_neural_networks/


相关推荐



   交流合作


商务合作以及加入微信群，请添加微信号：yan_kylin_phenix

注意：请务必说明您的意向，注明姓名+单位+从业方向+地点，否则不予通过，请多谅解。

640?wx_fmt=jpeg







九三智能控v
关注
无需学习任何权重参数就能做神经网络？谷歌学术发布WANN | 一周AI最火学术
BigDataDigest的博客
09-02 948
大数据文摘专栏作品 作者：Christopher Dossman 编译：fuma、李琳、云舟 呜啦啦啦啦啦啦啦大家好，拖更的AI Scholar Weekly栏目又和大家见面啦！ AI Scholar Weekly是AI领域的学术专栏，致力于为你带来最新潮、最全面、最深度的AI学术概览，一网打尽每周AI学术的前沿资讯。 每周更新，做AI科研，每周从这一篇开始就够啦！ 本周关键词：神经网络、中美A...
【告别调参！】google开源“权重无关”神经网络（Weight Agnostic Neural Networks,WANN）
Zack的博客
08-28 1011
前言 谷歌大脑备受关注的“权重无关神经网络”（《Weight Agnostic Neural Networks》）终于开源了！《Weight Agnostic Neural Networks》是谷歌大脑 David Ha 等人所著。 其关键思想是通过不再强调权重来搜索网络结构，仅使用随机共享的权重，也可以执行各种任务的神经网络。 github地址 github地址： https://git...
谷歌论文Weight Agnostic Neural Networks（WANN）权重无关神经网络
祥瑞的技术博客
12-06 1561
论文地址： https://arxiv.org/abs/1906.04358 项目及代码地址： https://weightagnostic.github.io/ 目录 一、概览 1.1 贡献点 1.2 背景 二、方法 2.1 本文做法 2.2 相关工作 2.3 方法 网络结构搜寻 结构搜索 Topology search 2.4 性能与复杂度评估 三、实验及结果 ...
wann
03-05
万恩 加权对抗神经网络 有关该算法的在线演示，请访问 综合实验设置 没有重新加权 TrAdaBoostR2 万恩 WANN是一种适用于回归任务的监督域自适应方法。 该算法是基于实例的方法，该方法学习源实例损失的重新加权，以纠正源分布和目标分布之间的差异。 WANN算法包括在相同的梯度下降中并行训练三个网络。 加权网络W学习源实例权重，该权重乘以任务的源损失和差异网络ht和hd 。 最后一个网络估计了重新加权的源实例和目标实例之间的Y差异，并使用与另外两个相反的目标函数（ -G ）进行训练。 这是通过使用图中粗体显示的“逆向渐变层”（RGL）来完成的。 要求 数值实验代码需要以下程序包： tensorflow （> = 2.0） scikit-learn numpy cvxopt nltk （用于情感分析预处理） matplotlib （用于可视化） 可以使用文件en
AUTOML: METHODS, SYSTEMS, CHALLENGES
12-20
automl的入门教材。 AutoML provides methods and processes to make Machine Learning available for non-Machine Learning experts, to improve efficiency of Machine Learning and to accelerate research on Machine Learning. Machine learning (ML) has achieved considerable successes in recent years and an ever-growing number of disciplines rely on it. However, this success crucially relies on human machine learning experts to perform manual tasks. As the complexity of these tasks is often beyond non-ML-experts, the rapid growth of machine learning applications has created a demand for off-the-shelf machine learning methods that can be used easily and without expert knowledge. We call the resulting research area that targets progressive automation of machine learning AutoML.
谷歌 免训练 早熟 模型 前景 9 神经网络 WANN 权重不可知网络 谈谈谷歌的免训练网络(早熟模型)及其前景，9的神.htm
11-29
机器学习 深度学习 pytorch tensorflow
WANN_小波神经网络_预测_
10-04
本项目提供的"WANN"文件，是一个实现小波神经网络预测功能的MATLAB代码示例，非常适合在科研和项目研发中进行数据预测和分析。 小波神经网络的核心思想是利用小波分析的多分辨率特性和神经网络的非线性映射能力，来...
WANN算法matlab
05-19
WANN（Weight Agnostic Neural Networks）算法是一种无需调整权重的神经网络算法。它的主要思想是构建一种通用的神经网络结构，使得该结构在不同的任务上都能够表现良好，而无需针对每个任务进行权重调整。该算法...
Python-AutoKeras基于Keras的AutoML机器学习自动化库
08-11
Auto-Keras：基于Keras的AutoML机器学习自动化库
2019-Automated Machine Learning Methods, Systems, Challenges, 正式版，Frank
06-19
2019(正式，非草稿） Automated Machine Learning Methods, Systems, Challenges, 带彩色 封面的正式出版版本，非草稿。 作者： Frank Hutter
ANN 神经网络介绍
weixin_42296976的博客
07-24 9712
1.简介 人工神经网络是模仿脑细胞结构和功能、脑神经结构以及思维处理问题等脑功能的信息处系统，它从模仿人脑智能的角度出发，探寻新的信息表示、存储和处理方式，这种神经网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，它采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结有针对性化信息方面的缺陷，具有自适应、自组织...
非常全面的AutoML资源，看这个就够了！
AI科技大本营
05-19 2860
整理 | Rachel责编 | 琥珀出品 | AI科技大本营（id：rgznai100）深度学习的发展促进了相关应用的涌现。但是，深度学习模型往往具有非常大的参数搜索空间...
给初学者们讲解人工神经网络（ANN）
热门推荐
日拱一卒
06-09 4万+
1.介绍 这份教学包
AutoML 学习
zwxeye的博客
09-18 769
AutoML 学习 Machine learning has achieved considerable successes in recent years and an ever-growing number of disciplines rely on it. However, this success crucially relies on human machine learning expert...
神经网络的气宗与剑宗之争：先验强大的网络甚至不需要训练
AI 研习社的博客
06-14 973
雷锋网 AI 科技评论按：深度神经网络中有许多连接权重，这些权重的值对网络表现有巨大影响；通过反向传播可以定向优化这些权重，提高网络的表现，这个过程被称作「训练」；训练过程通常需要多轮迭代，需要大量的稠密矩阵运算；这些都是领域内的常识。因为训练过程如此地重要，深度学习研究人员们都会设立多 GPU 阵列加速训练过程，关于训练技巧的论文连篇累牍，甚至还有「深度学习调参师」、「玄学调参」、「希望上帝给我...
考研复习-英语二真题考试题集-带答案
09-14
英语二考研真题复习资料，带答案版
2024中美独角兽公司发展分析报告.pdf
最新发布
09-14
全球各大洲独角兽企业分布、中美独角兽企业对比（数量、估值、新增及退榜情况、行业分布、所在城市）、
C++ 中的异步编程模型是什么
09-14
在C++中，异步编程模型是处理并发任务、提高程序性能和响应性的关键技术。以下是C++中实现异步编程的几种主要方式： 每种异步编程模型都有其适用场景和优缺点。选择合适的模型可以提高代码的可读性、可维护性和性能。随着C++标准的不断发展，异步编程模型也在不断进化，为开发者提供了更多的工具和选择。 在实际开发中，应根据具体需求选择合适的异步编程模型。例如，对于简单的异步任务，回调函数可能是最直接的选择；而对于需要结构化错误处理和结果获取的复杂异步任务，std::async和std::future可能更合适；在需要高效资源管理的场景下，线程池是一个不错的选择；而对于需要编写大量异步代码的现代应用程序，协程提供了一种更简洁、更直观的解决方案。 总之，C++中的异步编程模型是多核和高并发环境下提高程序性能的重要工具。通过合理使用这些模型，开发者可以构建出更高效、更可靠的软件系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值