teslafov的博客

Probing Neural Network Comprehension of Natural Language Arguments 自然语言论据的神经网络理解探讨,https://arxiv.org/pdf/1907.07355.pdfAbstract我们惊讶地发现，BERT在辩论推理理解任务中77%的峰值表现仅比未经训练的人的平均基线低3个百分点。然而，我们发现这个结果完全是由于利用了数据集中的虚假统计线索。我们分析了这些线索的性质，并证明了一系列模型都利用了它们。该分析为构建一个对抗性数据集提供

Unified Language Model Pre-training for Natural Language Understanding and Generation 面向自然语言理解与生成的统一语言模型预训练,NeurIPS 2019摘要本文提出了一种新的统一的预训练语言模型（UNILM），它可以针对自然语言理解和生成任务进行微调。采用双向序列建模，训练了三种类型的预测模型：单向预测和序列建模。统一的建模是通过使用共享的变压器网络和使用特定的自我注意掩码来控制预测条件的上下文来实现的UNILM在G

Fact-based Text Editing，基于事实的文本编辑，2020，ACL，https://arxiv.org/pdf/2007.00916.pdfAbstract我们提出了一种新的文本编辑任务，称为基于事实的文本编辑，其目标是修改给定的文档，以更好地描述知识库中的事实（例如，几个三元组）。这项任务在实践中很重要，因为反映真实是文本编辑的一个共同要求。首先，我们提出了一种自动生成数据集的方法，用于基于事实的文本编辑研究，其中每个实例由一个草稿文本、一个修订文本和多个以三元组表示的事实组成。我

A Neural Attention Model for Sentence Summarization 一种用于句子摘要的神经注意模型，2015,EMNLP,https://www.aclweb.org/anthology/D15-1044/Abstract基于文本抽取的摘要本身就有局限性，但是生成式的抽象方法已经被证明具有挑战性。本文提出了一种基于句子驱动的数据摘要方法。我们的方法利用一个基于局部注意的模型，根据输入句子生成摘要的每个单词。虽然该模型结构简单，但是可以很容易地进行端到端的训练，并且可以

[论文速览] Dataset and Neural Recurrent Sequence Labeling Model for Open-Domain Factoid Question Answering开放域因子答疑的数据集和神经递归序列标记模型，2016 ，https://arxiv.org/abs/1607.06275abstract近年来，基于神经网络的问答系统（QA）取得了令人瞩目的成果，但缺乏大规模的实词问答数据集仍然是开发和评价神经问答系统的一个挑战。为了解决这个问题，我们提出了一个大规