Transformer系列论文
文章平均质量分 85
Wwwilling
深度强化学习 知识图谱 Transformer
展开
-
【知识图谱论文】Bi-Link:通过转换器和提示的对比学习桥接来自文本的归纳链接预测
Bi-link原创 2023-02-13 22:20:58 · 1069 阅读 · 3 评论 -
【强化学习论文】多智能体强化学习是一个序列建模问题
是agent的动作空间的乘积,即 联合动作空间,R:O×A→[−Rmax,Rmax]R : O × A → [−R_{max}, R_{max}]R:O×A→[−Rmax,Rmax] 为联合奖励函数,P:O×A×O→RP : O × A × O → RP:O×A×O→R 为转移概率函数,γ∈[0,1)γ ∈ [0, 1)γ∈[0,1) 为折扣因子。 在时间步 t∈Nt ∈ Nt∈N,代理 i∈Ni ∈ Ni∈N 观察到一个观察 oti∈Oi(o=(o1,...,on)o^i_t ∈ O^i (o = (原创 2022-12-07 18:04:43 · 1870 阅读 · 1 评论 -
Online Decision Transformer
摘要最近的工作表明,离线强化学习 (RL) 可以表述为序列建模问题 (Chen et al., 2021; Janner et al., 2021),并通过类似于大规模语言建模的方法来解决。 然而,RL 的任何实际实例化还涉及在线组件,其中在被动离线数据集上预训练的策略通过与环境的特定任务交互进行微调。 我们提出了在线决策Transformer(ODT),这是一种基于序列建模的 RL 算法,将离线预训练与在线微调融合在一个统一的框架中。 我们的框架使用序列级熵正则化器与自回归建模目标相结合,以实现样本有原创 2022-11-29 22:51:56 · 2350 阅读 · 3 评论 -
【强化学习论文】小样本策略泛化的提示决策转换器
小样本决策模型原创 2022-11-29 19:05:53 · 1103 阅读 · 0 评论 -
【计算机视觉】有限标签的场景图预测
有限标签原创 2022-10-26 23:12:33 · 630 阅读 · 0 评论 -
【Transformer论文】CMKD:用于音频分类的基于 CNN/Transformer 的跨模型知识蒸馏
多模态原创 2022-10-26 23:11:30 · 2794 阅读 · 1 评论 -
【Transformer论文】通用代理
Gato原创 2022-10-26 23:09:35 · 268 阅读 · 0 评论 -
【Transformer论文】通过蒙面多模态聚类预测学习视听语音表示
多模态原创 2022-10-26 23:07:13 · 1278 阅读 · 0 评论 -
【Transformer论文】使用 Transformer 网络的会话感知项目组合推荐
Kaggle原创 2022-10-26 23:05:42 · 898 阅读 · 0 评论 -
【Transformer论文】Trajectory Transformer离线强化学习作为一个大序列建模问题
Trajectory Transformer原创 2022-10-25 00:12:20 · 1475 阅读 · 0 评论 -
【Transformer论文】VideoBERT:视频和语言表示学习的联合模型
VideoBERT原创 2022-10-13 21:16:03 · 1041 阅读 · 0 评论 -
【Transformer论文】Transformers 的多模式学习: 一项综述
Transformer 多模态综述原创 2022-10-05 21:11:55 · 1734 阅读 · 0 评论 -
【计算机视觉】TextFuseNet:具有更丰富融合特征的场景文本检测
TextFuseNet原创 2022-06-08 12:15:40 · 584 阅读 · 0 评论 -
【Transformer论文】用于 TextVQA 的指针增强多模态变换器的迭代答案预测
M4C原创 2022-06-06 16:13:55 · 670 阅读 · 0 评论 -
【Transformer论文】简单并不容易:TextVQA 和 TextCaps 的简单强基线
文献题目:Simple is not Easy: A Simple Strong Baseline for TextVQA and TextCaps摘要OCR(光学字符识别)工具可以识别的日常场景中出现的文本包含重要信息,例如街道名称、产品品牌和价格。两项任务——基于文本的视觉问答和基于文本的图像字幕,以及来自现有视觉语言应用程序的文本扩展,正在迅速流行起来。为了解决这些问题,正在使用许多复杂的多模态编码框架(例如异构图结构)。在本文中,我们认为一个简单的注意力机制可以在没有任何花里胡哨的情况下完.原创 2022-06-01 17:02:31 · 956 阅读 · 0 评论 -
【强化学习论文】Decision Transformer:通过序列建模进行强化学习
Article文献题目:Decision Transformer: Reinforcement Learning via Sequence Modeling文献时间:2021摘要我们引入了一个将强化学习(RL)抽象为序列建模问题的框架。 这使我们能够利用 Transformer 架构的简单性和可扩展性,以及 GPT-x 和 BERT 等语言建模的相关进步。 特别是,我们提出了决策转换器,一种将 RL 问题转换为条件序列建模的架构。 与先前的强化学习方法拟合值函数或计算策略梯度不同,Decision原创 2022-03-30 21:58:15 · 4146 阅读 · 0 评论 -
【Decision Transformer】
Decision Transformer原创 2022-03-30 17:12:41 · 1574 阅读 · 0 评论 -
【Pytorch】Transformer原理及其Pytorch实现
Seq-to-Seq (encoder+attention+decoder)CNNRNNtransformerTransformerclass Transformerα1{\alpha}_1α1就是q1q_1q1和k1k_1k1做点积然后softmax得到。self-attention以q2q_2q2为例q2q_2q2和别的kkk做点积,得到α1....αm{\alpha}_1....{\alpha}_mα1....αm...原创 2022-03-29 21:58:18 · 856 阅读 · 0 评论 -
【Transformer系列论文】TransFuser:端到端自动驾驶的多模态融合Transformer
Article作者:Aditya Prakash, Kashyap Chitta, Andreas Geiger文献题目:TransFuser:端到端自动驾驶的多模态融合Transformer文献时间:2021文献链接:https://arxiv.org/abs/2104.09224摘要互补传感器的表征应该如何集成到自动驾驶中?基于几何的传感器融合在物体检测和运动预测等感知任务中显示出巨大的前景。然而,对于实际驾驶任务,3D 场景的全局上下文是关键,例如交通灯状态的变化会影响几何上远离交通原创 2021-08-09 02:19:53 · 3878 阅读 · 0 评论