这篇文章介绍了2017年ICLR论文《HyperNetworks》，探讨了超网络如何通过一个网络生成另一个网络的权重，特别关注于其在深度卷积和循环网络中的应用，如LSTM的非共享权重生成，展示了在序列建模任务中的高性能。超网络还展示了在图像识别中的优势，减少参数，提升效率。
《hypernetworks》作者是David Ha, Andrew Dai, Quoc V. Le，此为2017年的ICLR论文
简介：
这项工作探索了超网络：一种使用一个网络（也称为超网络）为另一个网络生成权重的方法。
超网络提供了一种与自然界相似的抽象：基因型（超网络）与表型（主网络）之间的关系。 这项工作的重点是使超网络对深度卷积网络和长循环网络有效。在这些网络中，超网络可以看作是跨层共享权的轻松形式。 主要结果是超网络可以为LSTM生成非共享的权重，并在各种序列建模任务（包括字符级语言建模，手写体生成和神经机器翻译）上获得近乎SOTA的结果。
应用于卷积网络的超网络仍然可以在图像识别任务上获得可观的结果，同时所需的可学习参数更少。
具体如下图所示：
github代码地址https://github.com/g1910/HyperNetworks
扫一扫
1015
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
