南加州大学林禹臣：教机器学习常识，是种什么体验？

本文链接：https://blog.csdn.net/hanseywho/article/details/125336715

原来他们是这样走过来的！

【AI红人荟】——这里是TechBeat人工智能社区为优秀的AI工作者开设的人物专访栏目。从膜拜“红人”到成为“红人”，TechBeat与你一起，在AI进阶之路上，升级打怪、完美通关~

本篇人物，是来自南加州大学计算机系博士生林禹臣。他说，“常识推理不是一个能及时反馈的研究领域，研究它的人像是AI领域的‘苦行僧’”，但他为什么能乐在其中？以下为采访全文，欢迎阅读~
TechBeatTechBeat是荟聚全球华人AI精英的成长社区，每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。https://datayi.cn/w/GR4vQ82o

冰是冷的、火是热的......这些三岁孩童就知道的常识，但要让机器学习这些，似乎并非那么容易。目前就读于南加州大学的在读博士生林禹臣，正是这项NLP领域基础、必要、重要事项的推进者。他的学习经历和态度，让我们看到，AI的各项发展背后，原来有这么多青年人努力的故事。

“拎得清”方向目标的交大青年

2011年，上海交通大学IEEE试点班正式成立。

这个根据思考交大学长钱学森之问“为什么我们的学校总是培养不出杰出人才”，而设立的国际上首个IEEE试点班，自成立之初，就承载了了多重光芒和关注。一批批来自全国各地的“高分青年”，抱着对计算机技术、电气工程等专业方向的懵懂憧憬，骄傲地走进这个特殊的试点班。其中，包括在这里找到科研方向的林禹臣。他说，选择这里的理由之一是——“我想跟更厉害的人在一起学习”。

除此之外，IEEE试点班国际化的教学设置、对英文学习的高要求，也成为了林禹臣“初识计算机”的学习背景。他可以比同龄人更早地开始接触计算机知识、开阔对科学技术的视野，并明晰不同的研究方向。正如，他在完成大一“计算机导论”的课程时选择了“中文分词”作为作业项目。自此就悄悄确认自己想在NLP（自然语言处理）方向学习的目标。

在IEEE班毕业典礼发言

受到学校鼓励学生早接触科研的影响，林禹臣在大二时就加入了自然语言处理方向的实验室，丰富的项目经历更让他的学习之路更有方向感。

申请博士时，林禹臣斩获了7个名校offer。最终，他决定进入在NLP方向有着丰富底蕴的南加州大学。在导师选择时，林禹臣没有“盲目崇拜”大牛，而是很坚持自己的想法，更倾向找年轻有为、能够亦师亦友的导师。

林禹臣的导师——任翔教授

“和导师顺畅的交流，是读博期间很重要的事。” 一开始林禹臣导师的科研基金并不包含常识推理方向，但他和导师主动沟通了自己在这方面的发现与兴趣，并获得了导师的支持。林禹臣就此顺利写出了博士第一篇论文，确定了常识推理的研究方向。

巧合的是，就在这篇论文发表后，导师也获得了常识推理为主题的项目资金，支持他和师弟师妹们继续深入研究。“有的时候资金对于科研人员来说还是很重要的，但更重要的是合理的资源分配。”林禹臣深知科研基金对科研支持的重要作用，但并不迷信于此。

在EMNLP2019做学术报告

他的博士研究致力于自然语言处理中的常识推理——表征并融入常识知识于神经语言模型中，从而创造更贴近人类思维与行为的智能体。他也曾在Google AI 与 Facebook AI Research (FAIR) 担任研究实习生，尝试在工业界有不同思路的探索。他坚信，在构建通用人工智能体的道路上，常识推理是至关重要的一环。

在Google AI实习

教机器学常识是种什么体验？

林禹臣回答：“常识推理不是一个能及时反馈的研究领域，研究瓶颈也很多，研究它的人像是NLP领域的‘苦行僧’”。但是因为其重要性、必需性、挑战性而产生了巨大的魅力，吸引着林禹臣等常识推理研究者们迎难而上，去啃这块‘硬骨头’。”

林禹臣曾在Techbeat上分享过主题Talk《如何将常识教给机器？常识推理与语言模型》。他发现，语言模型犯的一些低级错误，很大程度上都是因为语言模型没有掌握及运用常识推理的能力，这也直接导致许多模型无法很好地应用到日常生活场景中。但他也清楚地知道，常识推理在问答系统、对话系统和机器人的语言控制方面非常重要，这就让他有极大的动力与兴趣去钻研常识推理。

林禹臣Talk分享

👉《如何将常识教给机器？常识推理与语言模型》

👉 链接：https://www.techbeat.net/talk-info?id=585

常识性知识，主要指人类对日常物体、事件属性和普遍假设中，也包括社交活动和心理变化的认识。尽管这是一个非常前沿热门的研究领域，但常识推理并非是刚刚兴起的。

“上世纪60年代刚刚提出人工智能的时候，就已经有学者在尝试将常识知识存储在计算机系统里。只不过那时技术还不成熟，更多的是通过人工问卷或游戏的方式收集数据；80、90年代时，计算机的算力有很大提升，又有一波学者致力于这个方向的研究。2018年前后，针对语言理解的常识性推理的大型基准数据集迎来了大幅增长。”

林禹臣介绍了常识推理在学术领域的发展史，不难看出，这一领域的研究受制于技术的发展、资金的支持和研究本身的难度，并不是一路畅通发展至今。

博士期间近四年的时间里，林禹臣主要研究如何融入外部知识来帮助自然语言处理系统提升常识推理能力，同时设计数据集或任务检测自然语言处理系统常识推理的能力。他所在的实验室，也在常识推理领域取得了诸多数据集构建方面的成果，包括生成式推理CommonGen，多语言常识推理数据集X-CSR，谜题类问答RiddleSense，逻辑性推理测试RICA等。

林禹臣博士期间的主要工作

尽管并不容易，但林禹臣仍然充满了对这一领域探索的勇气，毕竟，在他心中，AI与人类对话还有巨大的应用空间。

常识推理更多需要“工夫在诗外”

“比如我说我在隔离，你听到了自然就会关心我，常识让你知道现在从国外回国要隔离，隔离是安全的但可能心情会有点烦”，林禹臣举了个隔离的例子，也不难从中看出常识知识不仅多，且总是在变化之中。

更难的是，常识推理也必须要跨越文化、语言等限制，还需融合更多社会学、心理学等学科进行交叉研究，这就意味着研究这一领域的学者必须有更广阔的视野、更与时俱进的研究能力和更多“工夫在诗外”的努力。

林禹臣的知乎账号中，有一些看起来与AI并无太大关系的文学、电影相关内容的回答。他关心社会时事，谈论小人物主题的电影，回答和小说音乐相关的话题，他并不自诩是文艺青年，但认为自然语言处理与文学艺术的相关度很高。

林禹臣也观察到，常识推理这一研究领域，与世界范围内的歧视、文化偏见也息息相关，是目前的热门研究话题；即使范围缩小到中国文化，各省份的文化认同、风俗习惯，也有很广阔的研究空间。“这不仅仅是计算机领域的问题，未来将会是一个很好的研究方向，或许我们会和社会学者、文化学者，共同探讨出一个标准化的方案。”

“在未来，我们希望机器不仅有常识，更好的是有比人更多的常识，这样才能有效地减少机器与人对话的隔阂，实现真正的人机对话。”

学习越多，未知就越多，想要做的东西就越多。

带着想象力和好奇心，林禹臣即将与博士生涯告一段落，迎接更多工业界的课题。学术与应用，通过林禹臣这样的科研人得到连接，循环推进向前。期待更多年轻的血液，加入这份建造“未来”的事业！

嘉宾介绍

林禹臣

林禹臣，南加州大学计算机系博士生，导师为Prof. Xiang Ren。在此之前，他本科毕业于上海交通大学IEEE试点班（2014-2018），曾在Google AI 与 Facebook AI Research (FAIR) 担任研究实习生，分别受指导于William Cohen和 Scott Yih。他曾多次担任ACL, EMNLP, NAACL, ICLR, ICML, NeurIPS, AAAI等会议的审稿人，获得过WWW 2020 best paper runner-up, 百度AI新星等荣誉。

他的博士研究致力于自然语言处理中的常识推理（commonsense reasoning）--- 表征并融入常识知识于神经语言模型中，从而创造更贴近人类思维与行为的智能体。他的研究兴趣也包括联邦学习 (federated learning), 跨任务泛化（cross-task generalization），元学习（meta-learning），终身学习（lifelong/continual learning）等方向在自然语言处理中的应用。

个人主页：https://yuchenlin.xyz

-The End-

「AI红人荟」系列回顾：

[13] 美国莱斯大学副教授胡侠

[14] 幻方量化深度学习研究员罗福莉

[15] 北京航空航天大学助理教授周号益

[16] 密西根州立大学副教授汤继良

[17] 莱斯大学的在读博士生查道琛

[18] 新加坡国立大学周大权

[19] 清华交叉信息研究院的助理教授弋力

[20] 北京大学人工智能研究院的助理教授杨耀东