Salesforce公布自然语言处理重大进展,一个模型搞定十项任务

640?wx_fmt=gif

本文由人工智能观察编译

译者:Sandy

几年前,通过语音对手机提问来在互联网上找到答案基本是不可能的,因为计算机在理解人类语言方面并不是很出色。

 

如今,由于机器学习方面的进步,我们开始逐渐意识到谷歌助理或苹果Siri在对我们的问题进行应答方面基本已经没有太大的问题了。不过,不可否认,这一进展是极其艰难的,需要对非常具体的自然语言处理任务进行强化培训,比如将文本翻译成语音,对感叹词或者理解代词的引用进行分析,等等。这也是Salesforce的研究人员正在着手解决的问题。

 

本周三,他们发布了一篇论文,概述了一种可以同时处理10个独立自然语言处理(NLP)任务的单一模型的方法。从本质上说,这一研究是充满挑战的。据了解,这一模型被称为“自然语言十项全能(Natural Language Decathlon)”,简称“decaNLP”。

640?wx_fmt=jpeg

通过将该模型与“多任务问题应答网络(Multitask Question Answering Network;MQAN)”进行结合,可以同时学习10项任务,包括问答、机器翻译、摘要、自然语言推理、情感分析、语义角色标注、关系抽取、目标导向对话、语义分析、常识代词消解。

 

Salesforce的首席科学家Richard Socher在接受采访时说:“我们的模型好比是NLP领域的瑞士军刀。”换句话说,研究人员和开发人员实际上只需使用一种工具,而不必为那些任务中的每一项使用一种工具,那些任务需要无法用于其他任何任务的超级定制的模型。最终,这一模型可能会带来更有能力的聊天机器人,让它们可以更自然地与人进行交谈。

 

Socher与ImageNet做了一个类比,这是一个标签图像数据库,被认为开启了深度学习的革命,使得图像识别方面取得了突破。但是对于NLP,并不能通过一项任务就能进行定义。对此,Socher称:“在NLP领域,其实不存在所有研究人员都认为:如果你在这个方面取得进展,它就会整体上改善NLP的单一任务。”

 

Salesforce的研究人员,包括Bryan McCann,Nitish Shirish Keskar和Caiming Xiong,提出的方法就是将这每一项任务都视作一个回答问题的问题。Socher解释说,“问题回答其实是非常宽泛的——你可以随便问任何问题——该研究相当于提供了解决几个任务的单一模型。”

 

另外,MQAN允许进行所谓的“零样本”(zero-shot)学习,这意味着该模型可以处理以前未见过的任务或未经过培训的任务。“把它应用到一个全新的任务上,这是以前从未有过的,”McCann表示。“遇到换个方式来表述或意义上略有变化,大多数模型就无能为力,现在我们的模型做到了。”

640?wx_fmt=png

他补充说,具体到实际应用,面对并不完全是已经学会的短语,聊天机器人可以做出极准确的答复,更像是人们平常交谈那样。

 

事实上,Salesforce的这一研究也代表了著名人工智能研究员Yoshua Bengio的观点,他是蒙特利尔大学计算机科学与运筹学系教授,与Socher在机器学习领域展开过合作。

 

他表示:“自从大约二十年前我开始致力于表示自然语言的词汇嵌入以来,我的目标就是,同样的表示法应该可用于所有自然语言任务。这篇论文中将所有这些任务表示为回答问题的想法至关重要,但这还不够。论文作者搞出了自然语言十项全能,为这个目标定义一个基准,并引入了最终使这个梦想有可能实现的架构上的创新。”

(文中图片来自网络)

640?wx_fmt=png

投稿、约访、合作,联系邮箱aiobservation@qq.com

添加微信aixiaozhijun,更多交流或进AI观察团

640?wx_fmt=gif
展开阅读全文

没有更多推荐了,返回首页