关于多任务的decision transformer

最新推荐文章于 2024-04-08 10:30:45 发布
最新推荐文章于 2024-04-08 10:30:45 发布
阅读量215 收藏 1
点赞数
文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51003458/article/details/126744790
版权

整体的目标是

修改好代码实现GPT在多个数据集的训练

了解数据集结构D4RL

pkl文件

了解GPT的结构

gpt2

The Illustrated Transformer
在这里插入图片描述
GPT为纵向堆叠了12层decoder而成
GPT-2 就像传统的语言模型一样，一次只输出一个单词（token）
在这里插入图片描述

在这里插入图片描述

masked self-attention这里的mask指的是sequence mask

这里需要注意的一点很重要的事，transformer很重要的一点是，图中的纵向的线条都是并行的，但是注意一下GPT的输出是单个的字符，并不一定指的是原有的sequence的后面，可以是任何的东西。
当然如果有L2loss放在输出和下一个词语的时候，用于监督学习的时候，确实可以是学到后面的东西的。

在这里插入图片描述

每一层的decoder block都是一个masked self-attention 和一个feed forward neural network
详细的内容见

http://jalammar.github.io/illustrated-gpt2/

在这里插入图片描述

关于attention mask
attention mask

了解训练的模式

用expermient的get batch 得到
值得注意的是，act_dim和state_dim是根据env而变化
这里主要计划是看一下prompt dt的解决方法

设计训练的逻辑和代码

训练代码并进行数据对比

SRTTTTT
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
多任务学习：Transformer based MultiHead Self-Attention Networks
禅与计算机程序设计艺术
07-31 2448
孤岛模型被证明是单词生成模型的理想基础。马尔可夫链蒙特卡洛（MCMC）方法，在统计物理和材料科学领域均产生了重大影响。同样，在自然语言处理领域，深度学习技术也扮演着至关重要的角色，包括基于RNN、CNN、LSTM等的预训练语言模型、神经机器翻译、条件随机场、长短时记忆网络等，这些模型都取得了显著的效果。而在医疗问答系统中，自然语言理解和机器阅读理解组件的实现也逐渐成为关键任务，如何将两种学习模型结合起来，并对医疗数据进行有效处理，是关键之处。
CVPR2022 MulT: 端到端的多任务学习transformer
qq_35831906的博客
05-19 4224
CVPR2022 MulT: 端到端的多任务学习transformer，一个端到端的多任务学习transformer框架MulT，该框架可以同时学习对各高级视觉任务，包括深度估计，语义分割，reshading重着色，表面法线估计，2D关键点检测和边缘检测。
AAAI2023 | DeMT: CNN+Transformer实现多任务学习（分割/深度等）
CV_Autobot的博客
01-27 4820
本文结合了可变形CNN和query-based 的Transformer优点，提出了一种新的MTL模型，用于密集预测的多任务学习，基于简单有效的编码器-解码器架构（即，可变形混合器编码器和任务感知transformer解码器），称之为DeMT。
【自然语言处理】【多模态】UniT：基于统一Transformer的多模态多任务学习
bqw的博客
05-29 2400
UniT：基于统一Transformer的多模态多任务学习 《UniT：Multimodal Multitask Learning with a Unified Transformer》 论文地址：https://arxiv.org/pdf/2102.10772.pdf 一、简介 ​ Transformer\text{Transformer}Transformer在各个领域都获得的巨大的成功，包括但不限于自然语言、图像、视频和音频。先前的工作表明，在大规模语料上预训练的Transformer\text{Tr
一站式解读多模态——Transformer、Embedding、主流模型与通用任务实战（上）
PaddlePaddle
04-08 901
多模态作为AI领域的热门方向，本文将从不同角度对多模态技术进行全面总结，助力您快速学习。
汽车问答多轮对话系统.zip
07-20
可以使用规则基方法、统计模型（如Markov Decision Processes）或者基于深度学习的方法如seq2seq模型。 5. **回复生成**：生成与用户输入相匹配的自然语言回复。可以采用模板匹配、检索式方法或生成式模型（如RNN、...
NLPSentimentAnalysis:关于情感分析的NLP项目
03-28
在这个项目“NLPSentimentAnalysis”中，我们将会探索如何利用NLP技术来执行情感分析任务，特别是针对中文文本。情感分析在社交媒体监控、客户反馈分析、产品评论评价等多个领域有广泛应用。 **Jupyter Notebook的...
Taris:基于TensorFlow 2的基于变压器的在线语音识别系统
05-26
塔里斯 基于TensorFlow 2的基于变压器的在线语音识别系统 关于 Taris是[1]中描述的一种在线语音... 一旦中的所有字符decision处理和系统预测空格令牌，通过一个多段的注意分配的进步，并且在计算音频上下文向量以用于
中文酒店情感分析语料，标注了打分1-5分，可用于多分类，train12000,条，test4000条，非utf-8编码
01-13
对于多分类情感分析，可以采用多种机器学习或深度学习模型，如支持向量机（SVM）、朴素贝叶斯（Naive Bayes）、决策树（Decision Tree）、随机森林（Random Forest）、逻辑回归（Logistic Regression），以及深度...
中文文本分类 传统机器学习+深度学习.zip
最新发布
04-23
2. 多任务学习：同时训练多个相关任务，如情感分析和主题分类，利用任务之间的协同效应提高整体性能。 3. 弱监督与半监督学习：在标注数据有限的情况下，利用未标注数据和弱标注数据，结合传统机器学习和深度学习...
Gavin老师Transformer直播课感悟 - DIET:基于Transformer的轻量级多任务NLU系统（三）
m0_49380401的博客
12-05 3032
一、概述 通过基于各种数据集以及模型组件的搭配来测试DIET架构各个组件的有效性，验证各种情况下DIET模型的表现。 二、实验数据准备 在实验中使用了三种数据集：NLU-Benchmark数据集，ATIS数据集，SNIPS数据集。实验主要聚焦于NLU数据集，数据集主要使用了scenarios，actions, entities三类注解。 e.g. schedule a call with Lisa on Monday morning 这句话里...
用huggingface.transformers在文本分类任务（单任务和多任务场景下）上微调预训练模型
诸神缄默不语的博客
11-28 3348
用huggingface.transformers在文本分类任务（单任务和多任务场景下）上微调预训练模型
Decision Transformer 前沿追踪——万物皆可归于序列预测
m0_55289267的博客
08-15 2484
DT（Decision Transformer）将 RL 看做一个序列建模问题（Sequence Modeling Problem），不同于传统 RL 方法的建模方法， DT 使用 Transformer 网络直接输出动作（Action）进行决策，从而避免了在 Offline RL 问题中显式的马尔可夫过程建模问题和数据 OOD（Out-of-distribution）导致的 Q-value 过估计问题。...
离线强化学习——Decision Transformer论文代码笔记
wch1171215015的博客
11-28 1350
Decision Transformer论文代码笔记
【Decision Transformer】
qq_43058281的博客
03-30 1530
Decision Transformer
论文理解【Offline RL】——【DT】Decision Transformer: Reinforcement Learning via Sequence Modeling
佚失的诗篇
12-23 2056
标题：Decision Transformer: Reinforcement Learning via Sequence Modeling；发表：NIPS 2021；领域：离线强化学习（offline/batch RL）—— Transformer Based / Hindsight 监督思想
NeurIPS论文解读｜Decision Transformer: 通过序列建模解决离线强化学习问题
m0_55289267的博客
07-21 2238
今天为大家推荐一篇2021年被NeurIPS收录的一篇论文。 《Decision Transformer: reinforcement learning via sequence modeling》 推荐读者将本博客结合原论文食用。如有谬误偏颇烦请指出！
推荐一款强大的决策生成工具：Decision Transformer
gitblog_00097的博客
03-24 611
推荐一款强大的决策生成工具：Decision Transformer 项目地址:https://gitcode.com/kzl/decision-transformer 在人工智能领域，自动化决策系统正在逐步成为企业优化运营、提升效率的关键工具。今天，我们要介绍的是一个开源项目——Decision Transformer，它是一个基于Transformer架构的模型，用于学习和生成复杂的决策序列。...
Decision Transformer
EmoC的博客
02-29 150
emmm, 这里的Transformer 就和最近接触到的whisper一样，比起传统Transformer，自己还设计了针对特殊情况的tokens。比如whisper里对SOT，起始时间，语言种类等都指定了特殊tokens去做Decoder的输入和输出。DT这里的作为输入的Tokens由RL里喜闻乐见的历史数据：State，Action，Reward组成。输出只是简单的Actions(历史+即将需要的)
Decision transformer
08-02
尽管简单，Decision Transformer在Atari、OpenAI Gym和Key-to-Door任务上的性能与或超过了最先进的强化学习基线模型。[1] Decision Transformer的网络结构可以看作是Transformer的Decoder部分的修改，主要使用了...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值