【告别调参！】google开源“权重无关”神经网络（Weight Agnostic Neural Networks,WANN）

最新推荐文章于 2022-12-14 16:11:25 发布
最新推荐文章于 2022-12-14 16:11:25 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zengNLP/article/details/100126610
版权

前言

谷歌大脑备受关注的“权重无关神经网络”（《Weight Agnostic Neural Networks》）终于开源了！《Weight Agnostic Neural Networks》是谷歌大脑 David Ha 等人所著。

其关键思想是通过不再强调权重来搜索网络结构，仅使用随机共享的权重，也可以执行各种任务的神经网络。



github地址

1

  • github地址：

    https://github.com/google/brain-tokyo-workshop/tree/master/WANNRelease

  • 内容

    2



延伸阅读

中文版《权重无关神经网络》解析： https://cloud.tencent.com/developer/article/1448364

szZack
关注
专栏目录
图神经网络可解释性Slide：GNNExplainer: Generating Explanations for Graph Neural Networks
SimonChen
01-28 1079
参考素材： https://blog.csdn.net/weixin_40505645/article/details/105781034
论文导读#1：《ImageNet Classification with Deep Convolutional Neural Networks》
qq_41841298的博客
07-08 1002
本文章是笔者读完《ImageNet Classification with Deep Convolutional Neural Networks》后，对于论文的归纳总结，可以给尚未读者作为一个论文概述。
无需学习任何权重参数就能做神经网络？谷歌学术发布WANN | 一周AI最火学术
BigDataDigest的博客
09-02 948
大数据文摘专栏作品 作者：Christopher Dossman 编译：fuma、李琳、云舟 呜啦啦啦啦啦啦啦大家好，拖更的AI Scholar Weekly栏目又和大家见面啦！ AI Scholar Weekly是AI领域的学术专栏，致力于为你带来最新潮、最全面、最深度的AI学术概览，一网打尽每周AI学术的前沿资讯。 每周更新，做AI科研，每周从这一篇开始就够啦！ 本周关键词：神经网络、中美A...
谷歌大脑：探索权重无关神经网络
我爱计算机视觉
11-26 304
点击我爱计算机视觉标星，更快获取CVML新技术文 / Adam Gaier 学生研究员 和 David Ha 研究员Google Research无论是图像分类还是强化学习，在通过训练神...
论文翻译 —— Weight Agnostic Neural Networks 权重无关神经网络
佚失的诗篇
01-31 1195
这篇《Weight Agnostic Neural Networks》是前一段比较火的一篇论文了，号称找到了 “不用进行训练的神经网络”，称作WANNs，下面给出我对此文的翻译。能力有限肯定有不准确或词不达意的地方，大家以原文为准 可以在这里（交互式）查看此论文的交互式版本 注意，以下用黑色框框柱的部分以及这种红字部分是我做的补充解释，非原文内容。 注意，以下图片说明文字全部用斜体，放在图片上方...
告别深度学习炼丹术！谷歌大脑提出“权重无关”神经网络
THU数据派
06-17 567
来源：新智元本文约5600字，建议阅读10+分钟。无需权重训练！谷歌再向深度学习炼丹术发起“攻击”。[ 导读 ]神经网络训练中“权重”有多重要不言而喻。但现在，可以把权重...
谷歌论文Weight Agnostic Neural Networks（WANN）权重无关神经网络
祥瑞的技术博客
12-06 1561
论文地址： https://arxiv.org/abs/1906.04358 项目及代码地址： https://weightagnostic.github.io/ 目录 一、概览 1.1 贡献点 1.2 背景 二、方法 2.1 本文做法 2.2 相关工作 2.3 方法 网络结构搜寻 结构搜索 Topology search 2.4 性能与复杂度评估 三、实验及结果 ...
[论文笔记] Weight Agnostic Neural Networks
Holeung blog
08-04 919
Experiment
图神经网络的基准（Benchmarking Graph Neural Networks）
Yichar的博客
08-10 1616
Benchmarking Graph Neural Networks论文简要介绍背景介绍摘要论文所做的工作基准数据集选取的模型实验部分实验1：图分类数据集 论文简要介绍 作者：Vijay Prakash Dwivedi ，Yoshua Bengio 等 论文链接：https://arxiv.org/abs/2003.00982 发表时间：2020 背景介绍 主要是说GNNs 这几年在各个领域取得了巨大成功，列举了很多人的工作，提出了各种各样的模型，然后提了出了本文的核心问题： 如何客观准确地评价不同的GN
干货！解释神经网络：使用信息瓶颈识别输入特征
AITIME_HY的博客
09-18 681
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！张扬：新加坡国立大学博士生。从事可解释性机器学习研究，以第一作者身份发表相关论文于NeurIPS，MICCAI等会议。曾在德国亚琛工业大学，慕尼黑工业大学，微软亚研院进行过研究实习。解释黑盒神经网络的一种主要方法是特征归因（feature attribution），即识别输入特征对网络预测的重要性。最近有方法提出使用信息瓶颈（informa...
wann
03-05
万恩 加权对抗神经网络 有关该算法的在线演示，请访问 综合实验设置 没有重新加权 TrAdaBoostR2 万恩 WANN是一种适用于回归任务的监督域自适应方法。 该算法是基于实例的方法，该方法学习源实例损失的重新加权，以纠正源分布和目标分布之间的差异。 WANN算法包括在相同的梯度下降中并行训练三个网络。 加权网络W学习源实例权重，该权重乘以任务的源损失和差异网络ht和hd 。 最后一个网络估计了重新加权的源实例和目标实例之间的Y差异，并使用与另外两个相反的目标函数（ -G ）进行训练。 这是通过使用图中粗体显示的“逆向渐变层”（RGL）来完成的。 要求 数值实验代码需要以下程序包： tensorflow （> = 2.0） scikit-learn numpy cvxopt nltk （用于情感分析预处理） matplotlib （用于可视化） 可以使用文件en
告别调参，AutoML新书发布
10-16
近期，由Frank Hutter, Lars Kotthoff, Joaquin Vanschoren撰写的《AUTOML：方法，系统，挑战》“AUTOML: METHODS, SYSTEMS, CHALLENGES (NEW BOOK)” 221页的草稿版本已经放出，详细讲解了所有AutoML系统背后的基础知识，以及对当前AutoML系统进行了深入描述，Auto-WEKA、Hyperopt-Sklearn、Auto-sklearn等，最后介绍了AutoML的挑战。作者当前正在完成这本新书的编辑工作，它将由NIPS 2018出版发行。 AutoML提供了一种选择模型和优化超参数的方法。它还可以用于获取对于一个问题可能性能的基准结果。
《Weight Agnostic Neural Networks》（权重无关网络）论文简介
dreamweaverccc的博客
08-29 313
https://weightagnostic.github.io/
不更新权重只更新结构的神经网络《Weight Agnostic Neural Networks》读后总结
yzqlyzql的博客
10-15 638
不更新权重只更新结构的神经网络《Weight Agnostic Neural Networks》读后总结前言 前言 这是一些对于论文《Weight Agnostic Neural Networks》的简单的读后总结，首先先奉上该文章的下载超链接：点击这里下载论文。这篇文章有交互式版本：交互式版本，这个交互式版本里面有非常多的视频，可以直观的看到这篇文章要做什么，做了什么以及做得怎样。 ...
【重磅】谷歌WANN成果解析&AutoML新书下载 | AutoML
九三智能控
06-19 395
今天，你AI了没？关注：决策智能与机器学习，学点AI干货作者 | DeepRL来源 |WANN论文，awesone-automl-paper出处 | 深度强化学习算法（...
GoogLeNet 论文笔记
yzy的博客
10-19 611
目录 1. 目标检测算法R-CNN分为两步： 2. Motivation:简单的增加网络宽度和深度和两个弊端： 3.思路： 4.Inception module：  5.这种结构的两大好处： 6.结构参数表 7、1*1卷积作用 8、GoogLeNet结构 9. 两个辅助分类器 10. 模型和训练、测试方法等更多细节 11. ILSVRC Detection Challenge...
谷歌PR权重是什么意思？如何查询网站的谷歌PR权重
qianhsiguang的博客
12-14 1237
现在的Google权重指的是谷歌对于网站的综合评分。过去的PR有具体数值，而现在的谷歌权重或者说网站评分没有公开的具体数值，想要提高网站权重，就要充分考虑到Google的搜索规则喜好以及用户的使用体验。PR值的出现，导致很多人只注重做外链，忽略了网站自身质量，违背了Google以用户为本的宗旨。于是后来，谷歌放弃了PR值，也有可能作为一项排名因素隐藏起来了。Google权重是SEO中的一个常见名词，谷歌权重最早的概念指的是GooglePageRank，简称谷歌的PR值，由网站的外链数据计算得出。
怎样才能批量查询网站的谷歌PR权重？把手教你批量查询网站谷歌PR权重值
qianhsiguang的博客
12-06 924
谷歌PR是Google排名运算法则（排名公式）的一部分，用来标识网页的等级/重要性。在计算网站排名时，PageRank会将网站的外部链接数考虑进去。一个网站的外部链接数越多其PR值就越高；外部链接站点的级别越高，网站的PR值就越高。 怎样才能批量查询网站的谷歌PR权重？ 批量查询谷歌PR权重最简单最最直接的方法就是使用站长工具查询，具体操作如下： 首先打开站长工具，在域名输入框输入网站的域名（一行一个）； 然后勾选需要查询的功能（这里我们勾选谷歌PR）; 接下来点击提交，等待查询结果出来就可以了。 如果有需
神经网络的传播（权重更新）
热门推荐
Aliz_
08-03 2万+
本文重在阐述神经网络里的前向传播和反向传播。 上一篇文章构建了一个简单的网络，可以看出来它对于手写数字的识别率还是可以高达91%。但我们尚未对神经网络处理的过程做出太多解释。 数据在网络中的传播有两种方式。一种是沿着输入到输出的路径，被称为前向传播。一种是从输出返回到输入，被成为反向传播(backprop)。 train_step = tf.train.GradientDescentOpti...
model-agnostic meta-learning for fast adaptation of deep networks
最新发布
03-16
Model-agnostic meta-learning for fast adaptation of deep networks（MAML）是一种元学习算法，可以通过学习如何快速适应新任务来改进深度神经网络的性能。与其他传统的深度学习方法不同，MAML不是针对特定的任务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

szZack

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值