干货！结构化知识的统一建模和多任务学习

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

基于结构化知识的任务（SKG）利用结构化知识来完成用户请求，例如对数据库的语义解析和对知识库的问答。由于SKG任务的输入和输出是异构的，它们在历史上被不同的社区分开研究，这限制了对SKG的系统和兼容研究。在本文中，我们通过提出UnifiedSKG框架来克服这一限制，该框架将21个SKG 任务统一为文本到文本格式，旨在促进系统的 SKG 研究，而不是仅限于单个任务，领域，或数据集。我们展示了像 T5 这样的大型语言模型，在必要时进行简单的修改，在所有 21个 任务上实现了最先进的性能。UnifiedSKG有助于研究多任务、零样本和少样本学习。我们证明了使用 UnifiedSKG进行多任务前缀调整可以提高大多数任务的性能，并展示 T0、GPT-3 和 Codex 在 SKG 的零样本和少样本学习中的不足。UnifiedSKG还支持对跨 SKG 任务的结构化知识编码变体进行一系列受控实验。我们发现 T5 对结构化知识编码变化的敏感性因任务而异。UnifiedSKG很容易扩展到更多任务，并将开源在https://github.com/hkunlp/unifiedskg

本期AI TIME PhD直播间，我们邀请到香港大学计算机系助理教授——余涛，为我们带来报告分享《结构化知识的统一建模和多任务学习》。

余涛：

香港大学计算机系助理教授，博士毕业于耶鲁大学，目前在华盛顿大学自然语言处理实验室访问。他的研究兴趣在自然语言处理(NLP)。具体研究方向和兴趣包括但不限于对话问答系统，语义解析，自然语言界面，和人机交互。

基于结构化知识的任务（SKG）利用结构化知识来完成用户请求，例如对数据库的语义解析和对知识库的问答。由于SKG任务的输入和输出是异构的，它们在历史上被不同的社区分开研究，这限制了对SKG的系统和兼容研究。

我们通过提出UnifiedSKG框架来克服这一限制，该框架将21个SKG任务统一为文本到文本格式，旨在促进系统的SKG研究，而不是仅限于单个任务、领域或数据集。我们展d示了像T5这样的大型语言模型，在必要时进行简单的修改，在所有21个任务上实现了最先进的性能。UnifiedSKG有利于研究多任务、零样本和少样本学习。我们证明了使用UnifiedSKG进行多任务前缀调整可以提高大多数任务的性能，并展示T0、GPT-3和Codex在SKG的零样本和少样本学习中的不足。UnifiedS