【论文细读】Transformer在强化学习上的缺陷

最新推荐文章于 2024-10-08 18:23:44 发布
最新推荐文章于 2024-10-08 18:23:44 发布
阅读量444 收藏 1
点赞数
文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014136435/article/details/130193446
版权
本文探讨了Transformer在深度强化学习中的优化难题，并提出了框架改进，通过添加门控层增强性能，实验结果显示优于传统的LSTM网络。研究发现，调整层规范化的位置和引入门控机制能有效提升Transformer在RL任务中的表现。
摘要由CSDN通过智能技术生成

        深度强化学习已经成为RL中的重要分支，未来将继续发展和改进，包括更好的深度网络结构、更高效的训练算法和更好的泛化能力。

摘要

        自注意力机制在NLP领域大杀四方，Transformer更是众生平等，但是使用RL算法去优化大规模Transformer网络却是困难重重，本文提出框架修改，超越了基线为LSTM的网络。

1、简介

        很多人认为类似于Transformer这种自注意力结构更适合长序列文本操作，不会像RNN会产生梯度消失或者爆炸，所以一直以来，LSTM为RL的首选，Transformer即使在监督学习种也难以优化，本文作者通过对layer normalization，再在Transformer的关键点上加上一个新的门控，通过对比试验发现领先于LSTM。

         如上图所示，最左边的是标准Transformer，中间是将layer normalization加入到输入流，最右边是额外加了一个gating layer替代剩余连接。

2、Transformer体系结构和变体

略

最低0.47元/天 解锁文章
温州草履虫
关注
使用Transformer模型改进深度强化学习：探索新的前沿技术
2301_79331230的博客
10-05 434
近年来，Transformer模型在自然语言处理等领域取得了巨大成功，因此人们开始探索将Transformer模型应用于深度强化学习中。Transformer模型则是一种基于自注意力机制的神经网络架构，它在自然语言处理任务中表现出色，并且具有较好的并行性质。Transformer模型的自注意力机制能够捕捉状态之间的关系，并生成更具表征能力的状态表示。但通过结合深度强化学习和Transformer模型的思想，我们有望提高深度强化学习算法的性能，并在处理复杂任务时取得更好的结果。最后，我们可以通过调用。
Transformer + RL：是强化学习魔高一尺，还是 Transformer 道高一丈？ （1）
m0_55289267的博客
08-30 3417
进一步地，这种网络结构可以与许多策略相结合，比如V-MPO（Actor-Critic），R2D2（Value-Based），充分让 Transformer 更适应强化学习的优化过程，并利用 Transformer 在宽度和深度易于拓展的优点，在更大的数据集，更大型的，复杂的环境中发挥作用。在那些需要长期记忆的环境中，使用 Transformer 网络的 RL 智能体可以大幅优于常规的 RNN 模型，利用状态和动作在其轨迹中的时序依赖性，捕捉各种长期时序依赖，学习一个更好的表征来去预测下一步的决策行为。...
相对位置编码Transformer的一个理论缺陷与对策
Paper weekly
06-29 1347
©PaperWeekly 原创 · 作者 | 苏剑林单位 | 追一科技研究方向 | NLP、神经网络位置编码是 Transformer 中很重要的一环，在《让研究人员绞尽脑汁的 Transformer 位置编码》中我们就总结了一些常见的位置编码设计。大体上，我们将 Transformer 的位置编码分为“绝对位置编码”和“相对位置编码”两类，其中“相对位置编码”在众多 N...
Gated Transformer Networks for Multivariate Time Series Classification
最新发布
qq_41200212的博客
10-08 1151
用于时间序列分类的深度学习模型（主要是卷积网络和 LSTM）已被社区广泛研究，并在医疗保健、金融、工业工程和物联网等不同领域得到广泛应用。与此同时，Transformer Networks 最近在各种自然语言处理和计算机视觉任务上取得了前沿性能。在这项工作中，我们探索了当前带有门控的Transformer Networks的简单扩展，称为门控Transformer网络（GTN），用于解决多元时间序列分类问题。
深度学习：transformer模型
AcceptedLin的博客
03-30 784
深度学习：transformer模型 Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》，提出解决sequence to sequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder模型必须结合c...
浅谈 Transformer 和 Reinforcement Learning
nobles007820的博客
02-22 920
从数学优化角度的理解
Transformer与强化学习结合提升物联网智能决策
人工智能讲师分享前沿技术
06-20 1042
在数字化时代，物联网(IoT)的兴起已经彻底改变了我们与物理世界的互动方式。通过将日常家居用品到精密的工业机械等设备连接到互联网，IoT构建了一个庞大的互联生态系统，它所产生的数据量是前所未有的。这些数据为我们提供了丰富的信息资源，有潜力彻底改变智能家居、医疗保健、城市基础设施以及制造业等多个领域的决策过程。然而，这些机遇同时也带来了挑战。IoT环境的复杂性、动态性和规模之大，对数据的解释和有效行动提出了重大挑战。
基于transformer的序列建模强化学习算法开发.zip
04-15
在当今的AI领域，深度学习和强化学习是两大核心技术，而Transformer模型则是近年来在自然语言处理（NLP）领域中备受瞩目的创新。本项目旨在深入理解并复现基于Transformer的序列建模强化学习算法，为AI研究者提供一...
ICLR 2021上与【自监督学习】 & 【Transformer】相关的论文
10-21
国际表示学习大会（The International Conference on Learning ...为了分析最新研究动向，本文精选了涵盖自监督学习、Transformer、图神经网络、自然语言处理、模型压缩等热点领域，将分多期为大家带来系列论文解读。
基于Transformer模型+强化学习训练的立直麻将agent
03-15
"基于Transformer模型+强化学习训练的立直麻将agent"是这一领域的前沿研究，它将两种强大的技术结合，以创建能够在游戏中表现出人类水平甚至超越人类的智能体。Transformer模型，源自于自然语言处理（NLP）领域的...
深度学习的坎坷六十年：从感知机到Transformer...
zandaoguang的博客
05-26 230
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达来源丨机器之心编辑丨极市平台导读从1958年弗兰克.罗森布拉特发明的感知机、RNN、LeNet-5到Transformers等等，前人们一步一步的带动着深度学习往前跑。本文主要偏向于计算机视觉方向，带大家回想智慧凝结的每一个里程碑。1958 年：感知机的兴起1958 年，弗兰克 · 罗森布拉特发明了感知...
【AI-3】Transformer
qq_45611002的博客
04-07 1154
（3）解决的问题不同：全连接层主要解决特征的组合和映射问题，通过学习适合任务的特征表示。残差连接主要解决深层网络的训练问题，通过传递跳跃连接的残差信息，提升网络的学习能力。解决的问题不同：全连接层主要解决特征的组合和映射问题，通过学习适合任务的特征表示。通俗来说，全连接层在深度学习中的作用是将前一层的特征与权重相乘，并通过激活函数进行非线性变换，从而生成下一层的输出。前向传播：将预处理的数据输入到 Transformer 模型中，通过一系列的编码器和解码器层，生成模型的预测输出。
近期关于Transformer结构有潜力的改进方法总结
tyhj_sf的博客空间
05-21 4555
标准Transformer在最新的实际大模型中并没有被采用了，而是使用其相关的改进版本，原因是标准Transformer的实现有比较显著的缺点：1. Attention的时间复杂度较高，为$O(n^2)$，导致输入token序列长度较无法设置得过大。2. 显存占用大，是因为Attention、多头、FFN导致的参数量大。 以下总结了几个较受关注及个人认为比较有潜力的改进，帮助快速了解，同时推荐大家仔细研读原论文。
强化学习系列一：Q-Learning及Deep Q-Learning
Swift's Blog
10-13 388
Q-Learning epsilon greedy strategy freecodecamp 时序差分离线控制算法Q-Learning Deep Q-Learning Deep Reinforcement Learning: Guide to Deep Q-Learning 强化学习——从Q-Learning到DQN到底发生了什么？ Deep Q Learning之小白 价值函数的近似表示与Deep Q-Learning ...
探索Gated Transformer on MTS：一项创新的多时间序列预测框架
gitblog_00034的博客
04-23 865
探索Gated Transformer on MTS：一项创新的多时间序列预测框架 去发现同类优质开源项目:https://gitcode.com/ 在这个数字化时代，大数据和预测分析在许多领域中发挥着至关重要的作用。Gated Transformer on MTS（多时间序列门控变换器） 是一个开放源代码项目，它利用深度学习的力量，专为多时间序列数据的复杂预测任务设计。本文将深入探讨该项目的核心...
门控Transformer模型与传统Transformer模型的区别是什么？
百态老人的博客
07-18 512
门控Transformer模型（如Gated Transformer-XL, GTRXL）在传统Transformer的基础上引入了门控机制，这些门控机制通过控制信息的流动来增强模型对序列中不同部分的关注程度1,2。门控Transformer模型（如Gated Transformer-XL）与传统Transformer模型的主要区别在于其结构上的改进，特别是引入了门控机制和选择性机制，这些改进显著提高了模型在处理长序列任务时的计算效率、训练稳定性和适应性。
METD-Medical Transformer：用于医学图像分割的门控轴向注意力Transformer
weixin_43921949的博客
09-14 3831
具有门控轴向注意力的Transformer
Transformer架构仍然不完善及如何改造
人机与认知实验室
03-28 878
目前流行的大语言模型或多模态大模型，如GPT、SORA、GROK等大都是建立在Transformer架构之上的。尽管Transformer架构在自然语言处理等任务上取得了显著的进展，但仍然存在一些不完善之处。1、Transformer模型的训练过程需要大量的计算资源和时间由于Transformer模型的自注意力机制需要计算所有输入序列中的每个位置与其他位置的相关性，因此在处理较长的序列时会面临计算...
利用Transformer与强化学习训练麻将AI
综上所述，该项目是深度学习与强化学习结合应用于博弈游戏的一个具体案例，展示了在高复杂度决策环境中利用当前先进的AI技术进行策略探索的可能性。随着项目不断迭代和改进，我们可以期待它在立直麻将领域的表现，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值