神经网络经典论文解读
文章平均质量分 85
神经网络经典论文解读
加油当当
阿里云内推可私戳我哦~
展开
-
NASNet-Learning Transferable Architectures for Scalable Image Recognition-笔记
NASNet-Learning Transferable Architectures for Scalable Image Recognition0 摘要开发神经网络图像分类模型通常需要大量的架构工程。在本文中,我们研究了一种直接在感兴趣的数据集上学习模型架构的方法。由于当数据集很大时此方法很昂贵,因此我们建议在较小的数据集上搜索建筑构造块,然后将其转移到较大的数据集中。这项工作的主要贡献是设计了一个新的搜索空间(我们称其为NASNet搜索空间),该空间可以实现可移植性。在我们的实验中,我们在CIF原创 2021-03-01 20:39:03 · 820 阅读 · 0 评论 -
LSTM-Long Short-Term Memory-笔记
LSTM-Long Short-Term Memory0 摘要周期性的反向传播学习,在扩展的时间间隔内存储信息需要很长的时间,这主要是由于不确定的、衰减的错误导致的。我们简要回顾了Hochreiter在1991年对这个问题的分析,然后介绍了一种新颖的、独特的、基于梯度的方法,称为LSTM (LSTM)。在不造成伤害的情况下截断梯度,LSTM可以学习在超过1000个离散时间步长的最小时间滞后上桥接,方法是通过在特殊unit内的“恒定误差轮盘”强制执行恒定误差。乘性门unit学习打开和关闭访问的恒定误差原创 2021-02-28 15:31:53 · 1974 阅读 · 0 评论 -
RECURRENT NEURAL NETWORK REGULARIZATION-笔记
RECURRENT NEURAL NETWORK REGULARIZATION0 摘要我们为带有长短期记忆(LSTM)unit的递归神经网络(RNN)提供了一种简单的正则化技术。 Dropout是用于规范化神经网络的最成功技术,不适用于RNN和LSTM。 在本文中,我们展示了如何正确地将缺失应用于LSTM,并表明它显着减少了在各种任务上的过度拟合。这些任务包括语言建模,语音识别,图像标题生成和机器翻译。1 介绍递归神经网络(RNN)是一种神经序列模型,可在重要任务上达到最先进的性能,这些任务原创 2021-02-27 20:02:30 · 1546 阅读 · 3 评论 -
AlphaStar-Grandmaster level in StarCraft II using multi-agent reinforcement learning-笔记
AlphaStar-Grandmaster level in StarCraft II using multi-agent reinforcement learning许多实际应用需要artifcial agents在复杂环境中与其他agent竞争和协调。作为实现此目标的垫脚石,星际争霸的领域已成为artifcial intelligence研究的重要挑战,这是因为它在最困难的专业电竞中具有标志性和持久性,并且在原始复杂性和实用性方面与现实世界息息相关。multi-agent挑战。在过去的十年中,经过无原创 2021-02-26 18:14:33 · 2302 阅读 · 0 评论 -
Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning-笔记
Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning0 摘要我们提出了一种统一的机制,通过reward对其他Agent有causal influence的Agent,在Multi-Agent强化学习(MARL)中实现协调和沟通。使用反事实推理来评估causal influence。在每个时间步长,agent都会模拟它可能采取的替代操作,并计算它们对其他agent行为的influence原创 2021-02-26 10:27:27 · 1709 阅读 · 0 评论 -
MADDPG:Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments-笔记
0摘要我们探索了针对multi-agent领域的深度强化学习方法。 我们首先分析在multi-agent情况下传统算法的困难:Q学习受到环境固有的非平稳性的挑战,而Policy Gradient受到随着主体数量增长而增加的方差的影响。 然后,我们提出了一种针对actor-critic方法,该方法考虑了其他agent的行动policy,并且能够成功地学习需要复杂的多agent协调的policy。此外,我们介绍了一种训练方案,该方案使用针对每个agent的policy集合,从而导致更强大的多agentpol原创 2021-02-25 11:55:05 · 2343 阅读 · 0 评论 -
MAML:Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks-笔记(翻译)
Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks与模型无关的元学习,可快速适应深度网络0 Abstract:我们提出一种 meta-learning 算法,该算法是模型无关的,适用于任何利用梯度下降的方法来训练的模型,并且适用于任何任务,包括:classification,regression,and reinforcement learning. meta-learning 的目标是在不同的任务上训练一个模型,使原创 2021-02-23 15:43:54 · 1130 阅读 · 2 评论 -
Dream to Control Learning Behaviors by Latent Imagination-笔记
Dream to Control Learning Behaviors by Latent Imagination0 摘要Learned world模型总结了一个agent的经验,以促进学习复杂的action。虽然通过深度学习,从高维感官输入中学习WORLD MODELS变得可行,但从中获得action的潜在方法有很多。我们提出了Dreamer,一个强化学习agent,解决Long horizons任务的图像纯粹由潜在的想象力。我们通过传播学习states值的解析梯度,通过在学习WORLD MODE原创 2021-02-22 19:23:35 · 1277 阅读 · 0 评论 -
Asynchronous Methods for Deep Reinforcement Learning-笔记
Asynchronous Methods for Deep Reinforcement Learning深度强化学习的异步方法0 摘要我们为深度强化学习提出了一个概念上简单轻巧的框架,该框架使用异步梯度下降来优化深度神经网络控制器。我们提出了四种标准强化学习算法的异步变体,并表明并行actor学习器对训练具有稳定作用,允许所有四种方法成功地训练神经网络控制器。性能最优的方法是actor-critic的异步变体,它在单个多核CPU(而不是GPU)上以一半的时间进行训练,超越了Atari域上的当前技原创 2021-02-22 14:06:26 · 1816 阅读 · 1 评论 -
Playing Atari with Deep Reinforcement Learning-笔记
上古时期的论文。Playing Atari with Deep Reinforcement Learning通过深度强化学习玩Atari0 摘要我们提出了第一个深度学习模型,成功地通过强化学习直接从高维感官输入学习控制策略。该模型是一个卷积神经网络,使用Q-learning的变体进行训练,其输入是原始像素,输出是一个估计未来奖励的值函数。我们将我们的方法应用到7款来自街机学习环境的Atari 2600游戏中,没有调整架构或学习算法。我们发现,它在6个游戏中超过了之前所有的方法,在3个游戏中超原创 2021-02-21 16:40:51 · 1161 阅读 · 0 评论 -
Sequence Level Training with Recurrent Neural Networks-学习笔记
强化学习NLP的论文……Sequence Level Training with Recurrent Neural Networks用递归神经网络进行序列级训练0摘要许多自然语言处理应用程序使用语言模型来生成文本。这些模型通常被训练来预测序列中的下一个单词,给定前面的单词和一些上下文,比如图像。然而,在测试时,模型将从头开始生成整个序列。这种差异使生成变得脆弱,因为错误可能会在生成过程中累积。我们通过提出一种新的序列级训练算法来解决这个问题,该算法直接优化测试时使用的度量,例如BLEU或RO原创 2021-02-21 14:02:07 · 1524 阅读 · 0 评论 -
Generating Text with Deep Reinforcement Learning学习笔记
有点迷惑,NLP不是我研究的方向,但还是读了读,由于个人水平有限……欢迎指教Generating Text with Deep Reinforcement Learning使用深度强化学习生成测试输入0摘要我们使用Deep Q-Network(DQN)引入了一种新颖的序列到序列学习模式,该序列可迭代解码输出序列。这里的目的是使解码器能够首先处理序列的较容易部分,然后转向处理困难部分。具体而言,在每次迭代中,采用编解码器长期短期记忆(LSTM)网络从输入序列中自动创建功能,以表示DQN的内部状原创 2021-02-20 15:56:36 · 1114 阅读 · 0 评论 -
GoogLeNet Inception-V4-Inception-ResNet and the Impact of Residual Connections on Learning
Inception-v4,Inception-ResNet and the Impact of Residual Connections on LearningInception-v4、Inception ResNet和残差联系对学习的影响0摘要近年来,非常深的卷积网络对于图像识别性能的最大进步至关重要。一个示例是Inception体系结构,该体系已显示出以相对较低的计算成本实现了非常好的性能。最近,在2015年ILSVRC挑战赛中,引入残余连接以及更传统的体系结构带来了最先进的性能;它的性能类原创 2021-02-17 00:05:14 · 1046 阅读 · 1 评论 -
GoogLeNet Inception-V1-Going deeper with convolutions
GoogleNet-Going deeper with convolutions深入研究卷积摘要我们提出了一个名为“inception”的深度卷积神经网络,目标是将分类、识别ILSVRC14数据集的技术水平提高一个层次。这一结构的主要特征是对网络内部计算资源利用进行优化。这一目标的实现是通过细致的设计,使得在保持计算消耗不变的同时增加网络的宽与深。为了使质量最优,网络结构基于赫布原则(Hebbian principle ) 和多尺度处理规则(intuition of multig scale p原创 2021-02-09 21:49:52 · 1159 阅读 · 0 评论 -
GoogLeNet Inception-V2-Batch Normalization Accelerating Deep Network Training by Reducing Internal
GoogLeNet Inception-V2-Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shiftmathtype的公式实在是不好转成LaTeX所以都放图片了……原创 2021-02-09 21:31:44 · 692 阅读 · 0 评论 -
GoogLeNet Inception-V3-Rethinking the Inception Architecture for Computer Vision学习笔记
GoogLeNet有四篇文章,这是第三篇,虽然我感觉这没用前两篇经典了,但是为了学习的完整还是看了看。Rethinking the Inception Architecture for Computer Vision重新思考计算机视觉的初始架构0 摘要卷积网络是最先进的计算机视觉解决方案的核心,用于各种各样的任务。自2014年以来,非常深的卷积网络开始成为主流,在各种基准中产生了巨大的收益。尽管增加的模型尺寸和计算成本往往转化为大多数任务的即时质量提高(只要提供足够的标记数据用于培训).原创 2021-02-09 20:59:46 · 799 阅读 · 1 评论