![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
文献阅读
fly_jx
这个作者很懒,什么都没留下…
展开
-
文献阅读:Self-Attention with Relative Position Representations
文献阅读:Self-Attention with Relative Position Representations论文地址1:简介跟RNN和CNN使用相对位置编码或绝对位置编码相比,transformer使用绝对位置编码在输入端。本文探究在模型中引入相对位置编码,具体而言,是在模型的注意力机制中,融入相对位置信息2: 方法transformer的注意力机制对他的改进:3:相对位置表示对于transformer的每一层,在multihead_attn中添加relative原创 2022-03-30 16:06:28 · 959 阅读 · 0 评论 -
文献阅读
Investigating Pretrained Language Models for Graph-to-Text Generation论文地址: https://arxiv.org/abs/2007.084261 简介 这篇论文主要是探究预训练语言模型在AMR-to-Text,KG上的应用,其中主要做了一下研究 1 首先直接使用预训练语言模型应用到图到文本生成任务,并取得了很好的效果 2 在预训练模型的基础上,增加额外的预训练任务(与目标任务相关的任务),然后再对目标任务进行fine-tu原创 2021-04-26 15:37:26 · 175 阅读 · 0 评论