干货！ ICLR：将语言模型绑定到符号语言中个人信息

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

╱ 作者简介╱

承洲骏

上海交通大学硕士生，研究方向为代码生成，目前在香港大学余涛老师的实验室担任研究助理。

个人主页：http://blankcheng.github.io

谢天宝

香港大学一年级博士生，由余涛教授（主要）和孔令鹏教授指导，研究方向为代码生成和自然语言界面。

01

内容简介

尽管端到端(End-to-end)的方法最近在性能和易用性方面主导了NLP任务，但它们缺乏可解释性和鲁棒性。我们提出 Binder，一种无需训练的神经符号框架，可将任务输入映射到程序，它(1)允许将语言模型(LM)功能的统一API绑定到编程语言（例如SQL、Python）以扩展它的语法覆盖范围，从而大幅增加了可解决问题的范围，(2)采用LM作为程序解析器和API，在执行期间调用的底层模型，(3)只需要少量(10个左右)上下文中的示例注释，区别于与过去需要大量人工标注的程序生成方法。

具体来说，我们使用GPT-3 Codex作为LM。在生成程序阶段，Codex只需要少量的上下文范例，就能识别任务输入中原始编程语言无法回答的部分，正确生成API调用提示Codex解决无法回答的部分，并识别在与原始语法兼容的同时放置API调用的位置。在执行阶段，Codex可以在API调用中给出适当提示的情况下执行多种功能（例如，常识性问答、信息提取）。Binder 在WikiTableQuestions和TabFact数据集上取得了最先进的结果，且生成有利于人工调试的显式输出程序。以前最好的系统都是在数