AllenNLP系列文章之六：Textual Entailment（自然语言推理－文本蕴含）

最新推荐文章于 2025-03-16 08:00:00 发布

sparkexpert

最新推荐文章于 2025-03-16 08:00:00 发布

阅读量1.9w

点赞数 15

分类专栏： DL+NLP 大数据智能文章标签：文本蕴含自然语言推理

本文链接：https://blog.csdn.net/sparkexpert/article/details/79890972

版权

大数据智能同时被 2 个专栏收录

14 篇文章

订阅专栏

DL+NLP

12 篇文章

订阅专栏

自然语言推理是NLP高级别的任务之一，不过自然语言推理包含的内容比较多，机器阅读，问答系统和对话等本质上都属于自然语言推理。最近在看AllenNLP包的时候，里面有个模块：文本蕴含任务(text entailment)，它的任务形式是：给定一个前提文本（premise），根据这个前提去推断假说文本（hypothesis）与premise的关系，一般分为蕴含关系（entailment）和矛盾关系（contradiction），蕴含关系（entailment）表示从premise中可以推断出hypothesis；矛盾关系（contradiction）即hypothesis与premise矛盾。文本蕴含的结果就是这几个概率值。

Textual Entailment

Textual Entailment (TE) models take a pair of sentences and predict whether the facts in the first necessarily imply the facts in the second one. The AllenNLP TE model is a re-implementation of the decomposable attention model (Parikh et al, 2017), a widely used TE baseline that was state-of-the-art onthe SNLI dataset in late 2016. The AllenNLP TE model achieves an accuracy of 86.4% on the SNLI 1.0 test dataset, a 2% improvement on most publicly available implementations and a similar score as the original paper. Rather than pre-trained Glove vectors, this model uses ELMo embeddings, which are completely character based and account for the 2% improvement.

从中可以看出，AllenNLP集成了EMNLP2016中谷歌作者们撰写的一篇文章：A Decomposable Attention Model for Natural Language Inference

1、论文原理

　　每个训练数据由三个部分组成 $\left\{ a^{(n)},b^{(n)},y^{(n)} \right\} _{n=1}^{N}$ ，模型的输入为 $a=(a_{1},...,a_{l_{a}})$ ， $b=(b_{1},...,b_{l_{b}})$ ，分别代表前提和假说， $y^{n}=\left( y_{1}^{(n)},...,y_{C}^{(n)} \right)$ 表示a和b之间的关系标签，C为输出类别的个数，因此y是个C维的0,1向量。训练目标就是根据输入的a和b正确预测出他们的关系标签y。