知识图谱领域有哪些最新研究进展？不妨从EMNLP 2021录用论文寻找答案

©原创 · 作者 | 王馨月

学校 | 四川大学本科生

研究方向 | 自然语言处理

SciClaim

论文标题：

Extracting Fine-Grained Knowledge Graphs of Scientific Claims: Dataset and Transformer-Based Results

论文链接：

https://arxiv.org/abs/2109.10453

项目地址：

https://github.com/siftech/SciClaim

本文作者提出了 SciClaim 数据集。SciClaim 对社会和行为科学（SBS）、PubMed 和 CORD-19 论文的科学声明数据集的非结构化文本的知识图进行了注释。注释不仅包含粗粒度的实体跨度作为节点和关系作为它们之间的边，而且还包含修改实体及其关系的细粒度属性，语料库中总共有 12,738 个标签。通过包含更多标签类型和两倍以上的标签密度，SciClaim 捕获了实验变量的因果、比较、预测、统计和比例关联及其资格、子类型和证据。并且扩展了基于 transforemr 的联合实体和关系提取的工作，以有效地推断模式，展示了科学声明及其他领域中细粒度知识图的前景。

如上图所见，SciClaim 知识图具有实体（节点）、关系（边）和属性（括号），通过 arg0 将自变量连接到通过 arg1 与因变量的不同相关性。两个关联实体将两对从属因素与一个独立因素相关联，而属性和附加关系界定了权利要求的范围和定性比例。受语义角色标签的启发，属性修改关联及其参数的角色，使我们能够表示因果、比较、预测、统计和比例关联的主张及其资格、子类型和证据。

实体（Entities）是标记的文本跨度。实体包括 SciClaim 图的节点，在这些节点上声明属性和关系。共有六种实体类型：Factors 是在声明中测试或断言的变量。Associations 是关联一个或多个因素的明确短语。Magnitudes 是关联的修饰符，表明其可能性、强度或方向。Evidence 是对支持关联的研究、理论或方法的明确提及。Epistemics 表达了关联的信念状态，通常表明某事是否是假设、假设或观察到的。Qualifiers 限制了断言的适用性或范围。

属性（Attributes）是多标签细粒度注释（在括号中显示），其中零个或多个可能适用于任何给定实体。共包括以下几种属性：Causation 表示对其构成因素的因果关系。Correlation 表示对其构成因素的相互依赖。Comparison 表达了与参考框架的关联。Sign+ 和 Sign- 表示高/低或增加/减少的因子值。Test 表示统计测量。Indicates 表示预测关系。

关系（Relations）是 SciClaim 图中标记实体之间的有向边。共有六种关系：arg0 将关联与其原因、前因、主题或自变量相关联。arg1 将关联与其结果或因变量相关联。comp_to 是比较关联中的显式参考框架。subtype 将头部实体与亚型尾部相关联（例如，“死产”作为“妊娠结果”的亚型）。modifier 将关联与限定词、量级、认知和证据相关联。q+ 和 q- 分别表示正和负的定性比例，其中增加头部因素分别增加或减少尾部因素。

上图是作者对 SpERT 组件（a、b 和 c）的扩展具有多标签属性（d）和基于注意力的实体跨度表示（e）。

CSKB-Population

论文标题：

Benchmarking Commonsense Knowledge Base Population with an Effective Evaluation Dataset

论文链接：

https://arxiv.org/abs/2109.07679

项目地址：

https://github.com/HKUST-KnowComp/CSKB-Population

对元素为自由文本形式的常识知识库（commonsense knowledge bases, CSKB）进行推理是 NLP 中一项重要而艰巨的任务。虽然 CSKB 补全（completion）只填补了 CSKB 域内的缺失链接，但 CSKB 填充（population） 也被提出，目的是从外部资源中推理出看不见的断言。在此任务中，CSKB 以大规模事件（活动、状态和事件）图为基础，以区分来自事件图的新三元组是否合理。然而，现有的对 population 任务的评估要么不准确（使用随机采样的负样本进行自动评估）要么规模小（人工注释）。下图是补全任务和填充任务的对比。

在本文中，作者通过首先对齐四个流行的 CSKB 和一个事件图 ASER，然后提供高质量的人工注释评估集来探索神经模型的常识推理能力，从而使用新的大规模数据集对 CSKB population 任务进行基准测试。作者还提出了一种新颖的归纳常识推理模型，KG-BERTSAGE 将知识三元组的语义和子图结构结合起来进行推理，在其他同类中取得了最佳性能。实验结果表明，在看不见的断言上概括常识推理本质上是一项艰巨的任务。在训练期间实现高精度的模型在评估集上表现不佳，与人类表现之间存在很大差距。

上图是标准化 ASER 知识库的示例。橙色节点和边是来自 ASER 的原始数据，蓝色的是通过将“he”和“she”转换为占位符“PersonX”和“PersonY”的归一化图。

KGML

论文标题：

Knowledge-Aware Meta-learning for Low-Resource Text Classification

论文链接：

https://arxiv.org/abs/2109.04707

元学习在仅从当前元学习算法采用的历史任务中学习知识，没有得到训练任务的良好支持时，可能无法很好地推广到测试任务。这篇文章研究了一个低资源文本分类问题，并通过利用外部知识库弥合了元训练和元测试任务之间的差距。具体来说，作者提出了一种新方法 KGML 为从提取的特定于句子的知识图中学习的每个句子引入额外的表示。在三个数据集上的大量实验证明了 KGML 在有监督适应和无监督适应设置下的有效性。

上图是从共享知识库中提取特定于句子的 KG 的图示。

上图是 KGML 框架在有监督和无监督适应的设置。ACG 代表知识融合的聚合器 。

上图是 KGML 的有监督适应情况的算法。

GATER

论文标题：

Heterogeneous Graph Neural Networks for Keyphrase Generation

论文链接：

https://arxiv.org/abs/2109.04703

为了解决在关键短语生成（Keyphrase generation, KG）任务中，encoder-decoder 结构仅依赖源文档可能会导致生成无法控制和不准确的缺失关键短语问题，复旦张奇老师团队提出了一种新的基于图的方法，可以从相关参考文献中捕获显性知识。

模型首先从预定义的索引中检索一些类似于源文档的文档-关键短语对作为参考。然后构建异构图来捕获源文档与其引用之间不同粒度的关系。为了指导解码过程，引入了分层注意和复制机制，该机制根据相关性和重要性直接从源文档及其参考文献中复制适当的单词。在多个 KG 基准上的实验结果表明，所提出的模型相对于其他基线模型取得了显着的改进，尤其是在缺少关键短语预测方面。

上图是本文提出的的 GATER (Graph ATtention network basEd on References) 模型的图示。首先使用源文档检索引用，其中每个引用都是来自训练集中的文档和关键短语对的串联。然后构建一个异构图并进行迭代更新。最后，提取源文档节点以使用分层注意和复制机制对关键短语序列进行解码。

上图是不同模型生成的关键短语示例。对于当前和不存在的关键短语，正确的预测分别以粗体蓝色和粗体红色显示。参考文献中出现的缺失预测以黄色突出显示，其中只有检索到的文档的关键短语被视为 KG-KE-KR-M 的参考。

TimeTraveler

论文标题：

TimeTraveler: Reinforcement Learning for Temporal Knowledge Graph Forecasting

论文链接：

https://arxiv.org/abs/2109.04101

时间知识图（Temporal knowledge graph, TKG）推理是近年来引起越来越多研究兴趣的一项关键任务。现有的大多数方法都侧重于对过去时间戳进行推理以完成缺失的事实，而在已知 TKG 上进行推理以预测未来事实的工作很少。与完成任务相比，预测任务更加困难，面临两个主要挑战：（1）如何有效地对时间信息进行建模以处理未来的时间戳？（2）如何进行归纳推理来处理随时间出现的先前看不见的实体？

为了应对这些挑战，本文作者提出了一种用于预测的强化学习方法。具体来说，“时间旅行者”（TIme Traveler, TITer）在历史 KG 快照上旅行以寻找未来查询的答案。TITer 从查询主题节点开始，根据与当前节点相关的时间事实依次转移到新节点，并预计在答案节点处停止。为了处理看不见的时间戳挑战，TITer 使用相对时间编码功能在做出决策时捕获时间信息。

作者进一步设计了一种基于狄利克雷分布的新颖的时间形奖励来引导模型捕捉时间信息。为了解决看不见的实体，作者引入了一个基于时间路径的框架，并提出了一种新的看不见的实体表示机制，称为归纳均值（Inductive Mean, IM）表示，以提高模型的归纳推理能力。与现有的最先进方法相比，在四个基准数据集上的大量实验证明了显着的性能改进，同时具有更高的可解释性、更少的计算和更少的参数。

上图是具有时间边的 TKG 的图示。

上图是 TITer 的概览。给定一个查询 ，TITer 从节点 开始在，每一步，TITer 采样一条出边，并根据 （策略网络）遍历到一个新节点。以搜索的最后一步为例。 是当前节点。策略网络的图示提供了对候选动作 之一进行评分的过程。TITer 根据从所有候选分数计算的转换概率对动作进行采样。当搜索完成时，时间形奖励函数将根据估计的狄利克雷分布 给代理一个奖励。

上图是 IM 机制的图示。对于一个看不见的实体 ，“”表示 在 处有共现关系 ，并根据 更新其表示，最后在 处得到 IM 表示。然后为了回答一个查询 ，我们基于 做一个预测转换。

Object-Aware Transformer

论文标题：

Structured Context and High-Coverage Grammar for Conversational Question Answering over Knowledge Graphs

论文链接：

https://arxiv.org/abs/2109.00269

作者使用神经语义解析方法解决了在大型知识图上的弱监督 QA 问题。作者引入了一种新的逻辑形式（Logical Form, LF）语法，它可以对图上的各种查询进行建模，同时保持足够简单以有效地生成监督数据。

作者基于 Transformer 的模型将类似 JSON 的结构作为输入，使我们能够轻松地合并知识图和对话上下文。这种结构化输入被转换为嵌入列表，然后馈送到标准注意力层。

作者在两个公开的数据集 CSQA 和 ConvQuestions 上进行实验，在语法覆盖率和 LF 执行准确性方面验证了本文的方法。在 CSQA 上，本文的方法将覆盖率从 80% 增加到 96.2%，将 LF 执行准确率从 70.6% 增加到 75.6%，

先前的几个 KG-QA 作品都是基于 D2A 的语法。作者重新设计语法以对更广泛的查询进行建模。通过定义更通用的运算符，作者在不增加运算符数量和 LF 平均深度的情况下实现了这一点。实体是 KG 中的一个节点。两个实体可以通过称为属性的有向标记边相关联。属性还可以将实体与值相关联，该值可以是日期、布尔值、数量或字符串。实体和属性有几个类型，主要是名称和整数 ID。成员属性将成员实体与类实体联系起来。

我们将在下面考虑的对象是实体、属性、类和值。语法由一系列运算符组成，这些运算符将对象或对象集作为参数。逻辑形式是运算符的二元表达式树。

上图是运算符，分为五类。其中变量可以是实体 (E)、类 (C)、值 (V)、此类元素的有序集（分别为 SE、SC 和 SV）或属性 (P)。

上图是本文提出的模型的架构。初始字段嵌入是 Positional (P)、Property ID (PID)、Entity ID (EID) 和 Class ID (CID)。在第一个 Flattener 层之后，我们获得了属性嵌入（PE）、类嵌入（CE）、实体嵌入（EE）。输出中还有 Grammar Token (GT) 嵌入。

作者还在附录中对实验设置以及更详细的结果做了进一步描述，值得阅读。

iMRC Graph

论文标题：

Interactive Machine Comprehension with Dynamic Knowledge Graphs

论文链接：

https://arxiv.org/abs/2109.00077

项目地址：

https://github.com/xingdi-eric-yuan/imrc_graph_public

交互式机器阅读理解（Interactive machine reading comprehension, iMRC）是一种机器理解任务，其中知识源是部分可观察的。代理必须按顺序与环境交互以收集必要的知识以回答问题。我们假设图表示是很好的归纳偏差，可以在 iMRC 任务中作为代理的记忆机制。作者探索了四种不同类别的图，它们可以在不同级别捕获文本信息。作者还描述了在信息收集期间动态构建和更新这些图的方法，以及在 RL 代理中编码图表示的神经模型。iSQuAD 上的大量实验表明，图形表示可以显着提高 RL 代理的性能。

上图左边是本文代理的概览。作者建议使用图表示作为 iMRC 代理的附加输入模式。右边是从 iMRC 扩展而来的编码器模块的放大视图。作者建议在管道中添加一个新的图更新器模块和一个图编码层。具体来说，在步骤 t，图更新器将文本观察 和上一步中的图 作为输入并生成新图 。

随后，图被编码为隐藏状态，然后与文本表示聚合。请注意，与静态 MRC 工作中完全观察到的知识图 (KG) 不同，本文中的图是动态生成的，即在每个交互步骤中，代理可以将新观察中的信息更新为其图表示。

在生成和更新图的步骤中，类似于最近为静态 MRC 任务设计的方法，作者研究了通过语义角色标签（Semantic Role Labeling, SRL）构建知识图。SRL 系统可以检测与句子中的每个谓词（或动词）相关联的参数以及它们如何分类为特定角色。此属性对于处理 MRC 任务至关重要，尤其是对于提取 QA 数据集，其中答案通常是短文本块（例如，实体），此类块通常可以被 SRL 解析器识别为参数。

通过 SRL，我们可以很容易地了解参数之间是如何相互作用的，进一步连接多个句子中检测到的共同块可以产生有助于理解段落的参数流。上图为与给定句子对应的 SRL 图的部分视图。蓝色：句根；红色：谓词/动词；绿色：参数；黄色：修饰符。

作者在附录中对于模型结构和完整结果有更详细的描述，方便读者进一步了解模型。

CR-Walker

论文标题：

CR-Walker: Tree-Structured Graph Reasoning and Dialog Acts for Conversational Recommendation

论文链接：

https://arxiv.org/abs/2010.10333

项目地址：

https://github.com/truthless11/CR-Walker

会话推荐系统（Conversational Recommender Systems, CRS）吸引了越来越多的兴趣，它通过会话交互探索用户偏好，以便做出适当的推荐。然而，现有 CRS 仍然缺乏以下能力：（1）在背景知识上遍历多条推理路径以引入相关项目和属性，以及（2）在当前系统意图下适当安排所选实体以控制响应生成。

为了解决这些问题，清华大学黄民烈老师团队提出了 CR-Walker，这是一种在知识图上执行树结构推理的模型，能够生成信息性对话行为来指导语言生成。树结构推理的独特方案将每一跳的遍历实体视为对话的一部分，以促进语言生成，这将如何选择和表达实体联系起来。自动和人工评估表明 CR-Walker 可以得出更准确的推荐，并产生更多信息和引人入胜的响应。

CRS 的第一个挑战是如何推理背景知识以获得准确推荐。上图是示例对话的前三轮。该对话显示在左侧，KG 上的实体以粗体显示。每个对话右边的图展示了 CR-Walker 的推理过程，推理树标记为红色。在整篇论文中，候选项目用数字标注，通用类/属性用大写/小写字母标注。橙色/蓝色表示实体在前面的上下文中被提及/未提及。

在用户提到“Hemsworth”之后，agent 就聊聊“Hemsworth”主演的“Vacation”，进一步探索用户对“Comedy”电影的兴趣。然后，它根据对用户偏好（“喜剧”和“动作”）的几种不同推理路径推荐“Thor”。

第二个挑战是如何在响应生成中充分利用所选实体。由于可以在对话推荐中应用不同的对话动作，因此需要使用对话动作指南（对话语义和意图的抽象表示）正确表达所选实体，以形成自然、信息丰富且引人入胜的话语与用户交互。

然而，之前的大多数工作都停留在推断实体而不对响应生成进行建模。同样在上图中，agent 首先询问用户喜欢的类型和演员，然后谈论明星和电影以吸引用户参与对话，最后根据用户兴趣推荐电影。此外，agent 在第三轮提供解释，使推荐更具可解释性和说服力。

为了应对上述两个挑战，作者提出了 Conversational Recommendation Walker （CR-Walker）。模型首先选择一个系统意图来决定系统是询问信息、谈论某事还是提出建议。

然后，它对知识图（KG）和对话上下文执行树结构推理，创建由相关实体组成的推理树，以作为响应引入。树上实体的层次排列保留了当前系统意图下的逻辑选择顺序，将其转化为对话行为。对话的线性化表示进一步指导使用预训练的语言模型生成信息丰富且引人入胜的响应。

上图是 CR-Walker 的整体架构。右边是单个 Walker 单元的详细结构， Walker 单元计算图上的实体与集成了话语嵌入和用户画像的上下文嵌入之间的相似性。通过逻辑回归学习实体选择以实现多选。下图是 CR-Walker 的具体算法。

特别鸣谢

感谢 TCCI 天桥脑科学研究院对于 PaperWeekly 的支持。TCCI 关注大脑探知、大脑功能和大脑健康。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·