谷歌发布自然语言框架语义解析器SLING

最新推荐文章于 2024-09-08 09:45:22 发布

机器之心V

最新推荐文章于 2024-09-08 09:45:22 发布

阅读量1.9k

点赞数

文章标签：人工智能 c/c++

本文链接：https://blog.csdn.net/Uwr44UOuQcNsUQb60zk2/article/details/78556996

版权

今日，谷歌发布实验性系统 SLING，该系统是一个自然语言框架语义解析器，用于自然语言理解任务中，可将自然语言文本直接解析成语义表示——语义框架图。本文简要介绍了该系统。

项目链接：https://github.com/google/sling

直到最近，最实用的自然语言理解（NLU）系统仍然使用的是分析阶段的流程，从词性标注和依存句法分析（dependency parsing）到计算输入文本的语义表示。尽管该流程促进不同分析阶段的模块化，但早期阶段中的错误可能影响到后面的阶段以及最终表示，中间阶段的输出可能与该阶段的相关性不强。例如，典型的流程可能在早期阶段执行依存句法分析任务，最后执行共指消解。即使你只对共指消解的输出感兴趣，它也可能受到依存句法分析阶段错误的梯级效应的影响。

今天，我们宣布一个实验性系统 SLING，该系统可将自然语言文本直接解析成语义表示——语义框架图（semantic frame graph）。输出框架图直接捕捉用户感兴趣的语义标注，不运行任何中间阶段以避免流程系统的缺陷，还能够阻止不必要的计算。SLING 使用一种专用的循环神经网络模型，通过对框架图的增量编辑操作对输入文本的输出表示进行计算。反过来，框架图非常灵活，可以捕捉很多用户感兴趣的语义任务（下面会具体介绍）。SLING 的解析器仅使用输入词进行训练，绕过生成任何中间标注的过程（如依存句法分析）。

SLING 在推断阶段可以提供快速解析，通过（a）提供一个高效、可扩展的框架存储实现和（b）JIT 编译器，生成执行该循环神经网络的高效代码。尽管 SLING 仍处于实验阶段，但依靠高效的框架存储能力和神经网络编译器，它已经在一块台式机 CPU 上取得了>2,500 tokens／second 的解析速度。SLING 用 C++实现，可在 GitHub 上下载。更多细节参见：https://arxiv.org/pdf/1710.07032.pdf。

框架语义分析

框架语义学将文本（如句子）的意义表示为一组形式陈述（formal statement）。每个形式陈述叫作框架（frame），可以看作是一个知识或意义单元，包含与其他概念或相关框架的相互作用。SLING 将每个框架组织为一串 slot，每个 slot 都有自己的名称（角色）和值（可以是字面意义或与另一个框架的联系）。示例如下：

「Many people now claim to have predicted Black Monday.」

下图介绍了 SLING 如何识别实体（如人、地名或事件）、度量（如日期或距离）和其他概念（如动词），然后将它们按正确的语义角色进行排序。单词 predicted 表示动词「predict」最主要的意思，因此被标注为 PREDICT-01 框架。另外，该框架还与作出预测的人（通过 ARG0 slot 进行标注，指向代表 people 的 PERSON 框架）和被预测的事物（通过 ARG1 slot 进行标注，指向代表 Black Monday 的 EVENT 框架）有相互作用（slot）。框架语义分析即通过 slot 生成这些连接框架的有向图。

虽然上面的例子有点太简单了，但框架图确实是能对多种复杂语义标注任务进行建模的强大工具。对于初学者来说，框架提供了一种集合语言内部和外部信息类型（如知识库）的方便方式，可用于解决复杂的语言理解问题，如引用（reference）、隐喻、借代、观点（perspective）。这些任务的框架图只存在框架类型、角色和连接约束（linking constraint）上的区别。

SLING

SLING 通过优化语义框架来训练循环神经网络。网络中隐藏层的内部学得表征代替了手工制作的特征组合和流程系统中的中间表征。SLING 使用编码器解码器架构，使用简单的词汇特征（如原词、后缀、标点等）将每一个输入单词编码为一个向量。解码器使用该表征和自身历史中的循环特征计算出转换后的序列，以更新框架图获得输入语句的预期框架语义表示。SLING 使用 TensorFlow 和 DRAGNN 来训练模型。

下方的动图展示了如何使用独立的转换将框架和角色递增地添加到构建中的框架图。正如我们之前使用简单的例句所讨论的，SLING 使用角色 ARG1 连接 VERB 和 EVENT，表明 EVENT 框架是被预测的概念。EVOKE 转换从文本接下来的几个记号中激活了一个特定类型的框架（例如，从 Black Monday 激活的 EVENT 框架）。类似地，CONNECT 转换使用一个特定的角色连接两个已有的框架。当输入完成，且最后的转换（用 STOP 表示）执行完，则框架图已完成，并返回给用户，用户可以查看该图获得语句背后的语义内容。

该转换系统的一个关键层面是使用了一种框架的大小固定的小型注意力缓存（attention buffer）来表示大多数最新激活或修改的框架，如上图橙色框所示。该缓存能够捕捉到我们倾向于记住最近激活、提到或被增强的知识的直觉。如果一个框架不再被使用，就会被移出缓存，而新的框架会被添加。我们发现这种简单的机制在捕捉大部分框架间连接上出人意料地有效。

下一步

以上展示的实验只是研究语义分析任务（如知识提取、解析复杂引用和对话理解）的开端。我们发布在 GitHub 上的 SLING 提供了可用于以上示例任务的预训练模型，以及教你在提供的合成数据或你自己的数据上训练自己的语义分析程序的示例和使用方法。我们希望 SLING 能为社区做出贡献，期待将 SLING 应用和扩展到其它语义分析任务的想法。