XLNet作者杨植麟：超越BERT，用AI 赋能企业销售

????点击上方蓝字星标“Robinly”，获取更多重磅AI访谈

Robin.ly 是立足硅谷的视频内容平台，服务全球工程师和研究人员，通过与知名人工智能科学家、创业者、投资人和领导者的深度对话和现场交流活动，传播行业动态和商业技能，打造人才全方位竞争力。

本期Robin.ly AI访谈特邀Recurrent.ai的联合创始人、CMU博士杨植麟博士，介绍了他们团队共同发明的XLNet 算法，以及他和他的团队如何用人工智能技术赋能企业销售，提高与客户的沟通能力。

杨植麟博士在美国硅谷接受Robin.ly专访

XLNet 算法在 20 个自然语言处理数据集上超越了之前最好的算法BERT。杨植麟博士的研究曾在超过30个数据集上取得了历史最优结果，包括自然语言推理、问答和半监督学习。他曾实习于谷歌大脑研究院和Facebook 人工智能研究院。此前他获得了卡耐基·梅隆大学博士学位和清华大学学士学位。

下文为Robin.ly主持人Alex与杨植麟博士的访谈实录。完整访谈视频见文末。

长按二维码或点击“阅读原文”

访问Robin.ly获取更多AI访谈视频和音频

 

 

1

   大牛导师的影响

Alex: 杨博士在整个博士期间正好经历了AI 和自然语言处理、深度学习大发展的几年。你自己怎么看这几年发展的一些主要节点？

 

杨植麟：
NLP 的发展分成几个主要的阶段。第一个是word-embedding（词嵌入）的提出，大概是在2003年，Bengio 的团队发表了第一篇论文。在2013年， Mikolov 把这项工作推广成Word2vec 之后，这个领域逐渐流行起来。最后是注意力和记忆机制，大概是在2014年到 2015年。那个时候我刚好入学，随后就有两拨新的小高潮出现。第一波是在大概2017年的时候出现了Transformer，2017年左右预训练的思想开始流行。所以这几年的发展非常迅速，我感觉我也是运气特别好，能够在这一波潮流里面做一些工作。

 

Alex: 你的导师是Ruslan Salakhutdinov，也是苹果公司人工智能部门的负责人。你在做XLNet 期间跟Facebook AI，Google brain 的Quoc Le，Jason Weston 这样的专家也合作过。你从他们身上都学到了什么？

 

杨植麟：

我十分感激我的导师Ruslan 能够给我们提供一些开放的环境，他非常愿意接纳不同的想法，使得我有很多资源和环境去做我想做的事情。Jason 是一个非常问题驱动的人，比如说他现在想解决对话这个问题，那他所有工作都会围绕这个来做。而Quoc 更注重通用的方法，他更希望用一个通用的方法去解决所有问题，包括他之前做的AutoML，还有我们最近做的XLNet 都有这种思想，就是用一种通用的框架去解决所有的问题。其实我觉得我更多受到的是Quoc 的影响，一个是想办法让一个方法通用化，二是把它用更大的算力去规模化。