【论文泛读151】Transformer-F：具有学习通用句子表示的有效方法的 Transformer 网络

最新推荐文章于 2022-05-13 12:29:37 发布

及时行樂_

最新推荐文章于 2022-05-13 12:29:37 发布

阅读量353

点赞数 1

分类专栏：论文 # NLP_paper 文章标签： paper transformer

本文链接：https://blog.csdn.net/qq_41485273/article/details/118495690

版权

本文提出Transformer-F，通过改进Transformer的注意力机制和融合各层特征，提高文本分类性能。在三个标准数据集上，Transformer-F相较于普通Transformer，文本分类准确率提升5.28%，证实其有效性和改进策略。

摘要由CSDN通过智能技术生成

贴一下汇总贴：论文阅读记录

论文链接：《Transformer-F: A Transformer network with effective methods for learning universal sentence representation》

一、摘要

Transformer 模型广泛用于自然语言处理中的句子表示。然而，之前的基于 Transformer 的模型专注于在大多数情况下意义有限的功能词，并且只能提取高级语义抽象特征。在本文中，介绍了两种方法来提高 Transformer 的性能。我们通过将词性权重向量与相关系数相乘来计算注意力得分，这有助于提取更具有实际意义的单词。权重向量由输入文本序列根据词性的重要性得到。此外，我们融合了每一层的特征，使句子表示结果更加全面和准确。在实验中，我们证明了我们的模型 Transformer-F 在三个标准文本分类数据集上的有效性。实验结果表明，与基线模型相比，我们提出的模型显着提高了文本分类的性能。具体来说，我们在简单任务上比普通 Transformer 获得了 5.28% 的相对改进。

二、结论

本文提出了用于句子表示的Transformer-F，以解决普通Transformer只关注无意义的虚词，不能利用浅层特征的问题。我们从三个方面对Transformer进行了改进:(1)用相关系数代替点积来恰当地表示词与词之间的相关性；(2)通过将词性权重向量与相关系数矩阵相乘，我们计算注意力权重，这有助于提取具有实词的单词；(3)融合各层特征