weixin_43173180的博客

论文目的调查研究了预训练模型是否可以得出数字常识知识，若可以那么可以理解到什么程度，以及该过程的鲁棒性，同时构建了数字常识知识数据集NUMERSENSENUMERSENSE构建过程从OMCS抽取含{“no”, “zero”, “one”, “two”, …, “ten” }其中任意一个单词的句子。 为了降低噪音，作者手工和务实地修改了这些句子，并由不同的研究生进行了两轮审查，作者只保留了所有注释者接受的陈述。为了检测模型的鲁棒性， 我们还在我们的数据集添加了对抗性的例子，即在每个检测中涉及数值推理

论文目的传统的常识获取需要昂贵的人力标注，而且规模较小。本文提出在linguistic graphs上挖掘常识知识，从而构建大规模常识图谱论文方法任务描述我们首先定义从语言图挖掘常识知识的任务。 给定种子常识知识集C（包含m个元组）和语言图集G（包含n个语言图G），其中m << n。 每个常识事实都采用元组格式（h，r，t）属于 C，其中r 属于 R，这是人类定义的常识关系的集合（例如，“ UsedFor”，“ CapableOf”，“ AtLocation”，“ MotivatedBy

论文目的利用常识知识来选择故事结尾论文方法任务描述给定句子长度为L的故事S，我们的任务是在两个候选答案中选出正确的从而使得故事更为合理和一致。其实是0 or 1二分类问题method三部分组成narrative sequencesentiment evolutionstructured commonsense knowledgeNarrative Sequence为叙事链开发更好的语义表示对于我们预测正确的结局是很重要的。作者在一个无标签的大数据语料集上预训练一个高度兼容的语言模型

论文目的自动 topic-to- essay 生成（TEG）任务是指给定 topic 集合，生成主题相关、段落集的文本。过去的工作仅仅基于给定的主题去执行文本生成，而忽略了大量的常识知识，其实这些常识知识会提供额外的背景知识，这能提高生成文章的新颖性和多样性。为了解决这个问题，本文通过动态记忆机制将外部知识库的知识整合进生成器。除此之外，基于多标签判别器的对抗训练的应用进一步提高了主题一致性。论文方法任务描述给定一个包含m个主题的主题序列x，TEG任务旨在生成一个包含n个单词的主题一致的文章y，其中

论文目的用常识性知识图显式地建模会话流论文方法通过将对话与概念空间联系起来，ConceptFlow将潜在的对话流表示为沿着常识关系在概念空间中遍历。任务描述user输入话语X（有m个单词），对话生成模型使用encoder-decoder框架产生回答Concept Graph Construction先找到出现在对话里的概念V_0，然后再去常识库找到1-hop和2-hop的邻居V_1和V_2，V_0到V_1形成central concept graph G_central（与当前对话主题相近），

论文目的构建常识问答数据集，该数据集的特点是：问题可以不经过文本而轻易地根据常识被人类回答最先进的预训练语言模型也无法取得很好的效果，而人类可以轻而易举的取得很好的效果论文方法向crowd workers提出问题，以描述来自CONCEPTNET的概念之间的关系，构建过程如下（figure 1）：A source concept (in green) and three target concepts (in blue) are sampled from CONCEPTNET (b) Cro

论文目的生成对话系统总会产生无意义的对话，例如“我不知道”，所以本论文利用常识来补充对话背景信息，为对话增添色彩论文方法D为训练集，X为查询信息，Y为回应内容，F为常识知识Felicitous Fact mechanismKnowledge Retriever:检索查询实体，获取常识KG上邻居信息和对应关系构成candidate factContext Encoder:使用双向GRU，输入XorY，输出文本状态序列Felicitous Fact Recognizer:区分歧义词Contex

论文目的实现常识问答——常识问答要用到外部知识，现有的常识问答方法有两种：they either generate evidence from human-annotated evidence or extract evidence from a homogeneous knowledge source like structured knowledge ConceptNet. 但是they fail to take advantages of both knowledge sources simulta

摘要最近的研究显着改善了诸如Winograd Schema Challenge（WSC）和SWAG等常识推理（CSR）基准的最新技术。 我们在本文中提出的问题是，在这些基准上提高性能是否代表了朝着常识性系统迈进的真正进展。 我们对基准测试和设计协议进行案例研究，以通过分析对先前实验设计有效性的威胁来阐明和验证先前工作的结果。 我们的协议考虑了常识基准中常见的几种属性，包括大小限制，结构规律性和可变实例难度。SWAGSWAG的问题实例包括部分说明，以及四个在分布上相似的候选后继句子。 其中，一位接班人是

摘要Winograd Schema Challenge（WSC）指代名词解析任务，似乎需要常识性的推理，因为所需的知识不在给定的文本中。自动提取所需的知识是解决挑战的瓶颈。现有的最先进方法使用嵌入其预训练的语言模型中的知识。但是，语言模型仅嵌入部分知识，这些知识与经常共存的概念有关。这限制了此类模型在WSC问题上的性能。在这项工作中，我们建立在基于语言模型的方法上，并通过常识性知识搜寻（使用从文本中自动提取）模块和显式推理模块来扩展它们。我们以这种方式构建的端到端系统将两种可用的基于语言模型的方法的准确性

摘要Winograd Schema Challenge（WSC）数据集WSC273及其推理对手WNLI是自然语言理解和常识推理的流行基准。 在本文中，我们表明，当在相似的代词消除歧义问题数据集（表示为WSCR）上进行微调时，WSC273上三种语言模型的性能将持续稳定地提高。 我们还生成了一个大型的无监督WSClike数据集。 通过在引入的WSCR数据集和WSCR数据集上微调BERT语言模型，我们在WSC273和WNLI上实现了72.5％和74.7％的总体准确度，从而将先前的最新解决方案提高了8.8％和9.

摘要经过大量原始文本数据训练的上下文表示法已经对NLP任务（包括问题回答和阅读理解）进行了显着改进。已经有工作表明语法，语义和词义知识包含在此类表示中，这解释了它们为何有益于此类任务。但是，有关情境化表示中所包含的常识知识的研究工作相对较少，这对于人类对问题的回答和阅读理解至关重要。我们通过在七个具有挑战性的基准测试中测试了GPT，BERT，XLNet和RoBERTa的常识能力，发现语言建模及其变体是提升模型常识能力的有效目标，而双向上下文和更大的训练集则是加分项。我们还发现，当前的模型无法很好地完成任务

摘要在本文中，我们提出了基本常识知识的第一个综合分类，用于回答Winograd模式挑战（WSC）。对于每个问题，我们邀请注释者首先提供做出正确决定的原因，然后将其归类为六个主要知识类别。这样一来，我们可以更好地理解现有方法的局限性（即无法用现有方法有效地表示或推论哪种知识），并为将来为更好的常识推理而需要获取的常识提供一些启示。此外，为了调查当前的WSC模型是否可以理解常识，或者仅基于数据集的统计偏差来解决WSC问题，我们利用收集到的原因开发了一个名为WinoWhy的新任务，该任务需要模型将可能的原因与非

A Review of Winograd Schema Challenge Datasets and Approaches 论文翻译与分析摘要IntroductionWinograd Schema Challenge DatasetsOriginal Collection of Winograd SchemasDefinite Pronoun Resolution DatasetPronoun Disambiguation Problem DatasetWinograd Natural Language I

概述本文介绍了一种可以判断一个三元组f=(a1,r,a2)f = (a_1, r, a_2)f=(a1​,r,a2​)是否为真实常识的算法具体步骤预先准备一个语料库，这个语料库里面全为已经确定的真实常识，而且我们查询的三元组f=(a1,r,a2)f = (a_1, r, a_2)f=(a1​,r,a2​)并不在这个语料库当中。在语料库当中寻找到和查询三元组f=(a1,r,a2)f = (...