【论文泛读】融合语义角色和自注意力机制的 中文文本蕴含识别

摘 要

文本蕴含识别旨在识别两个给定句子之间的逻辑关系． 本文通过构造语义角色和自注意力机制融合模块，把句子的深层语义信息与 Transformer 模型的编码部分相结合，从而增强自注意力机制捕获句子语义的能力． 针对中文文本蕴含识别在数据集上存在规模小和噪声大的问题，使用大规模预训练语言模型能够提升模型在小规模数据集上的识别性能． 实验结果表明，提出的方法在第十七届中国计算语言学大会中文文本蕴含识别评测数据集 CNLI 上的准确率达到了 80. 28%

模型

结论

本文提出一种融合语义角色和自注意力机制的中文文本蕴含识别方法． 首先把待识别语句分别输入到BEＲT-wwm-ext 和 SＲL 编码模块，然后在 SＲL-Attention模块中以自注意力机制的方法把编码后的 SＲL 和BEＲT-wwm-ext 的输出信息进行融合，最后对融合后的结果进行分类处理． 实验结果表明该方法能够增强自注意力机制捕获句子语义的能力，并且提升模型在小规模数据集上的识别性能． 在后续的研究工作中可以结合中文语法特点把融合方式细致化，进一步加强模型提取语义特征的能力．