近日,复旦大学邱锡鹏教授在其微信朋友圈介绍了他们关于自然语言处理(NLP)研究趋势的最新思考。
他们认为,近年来伴随着预训练模型的出现, NLP 任务趋向于统一范式;而与此同时,NLP 中的范式迁移现象也愈发频繁,并且涌现出了一些有潜力统一各类自然语言处理任务的通用范式。
在早前,同样来自复旦大学,现于卡耐基梅隆大学(CMU)进行博后研究的刘鹏飞博士,曾发表一篇博客文章《NLP 的第四范式
P1. 非神经网络时代的完全监督学习 (Fully Supervised Learning, Non-Neural Network)
P2. 基于神经网络的完全监督学习 (Fully Supervised Learning, Neural Network)
P3. 预训练,精调范式 (Pre-train, Fine-tune)
P4. 预训练,提示,预测范式(Pre-train, Prompt, Predict)
在不同范式变迁过程中,有些东西是不变的,如果能够把这些不变的东西挖掘出来,会对 NLP 未来的发展起到重要的指导作用。
论文地址:
https://arxiv.org/pdf/2109.12575.pdf
代码地址:
https://txsun1997.github.io/nlp-paradigm-shift/
在上面这篇论文中,孙天祥等人通过对NLP研究范式进行对比及分析,提出了许多建设性展望。
为将复旦大学在这方面的思考介绍给大家,智源社区特邀请了论文作者孙天祥对其工作内容进行在线直播报告。
孙天祥,复旦大学博士生,师从邱锡鹏教授和黄萱菁教授,主要关注自然语言处理中的多任务学习、知识融入、高效推理等方向,研究成果发表于AAAI, COLING, ACL, NAACL等会议,担任相关会议审稿人。
主题:自然语言处理中的范式迁移(Paradigm Shift in NLP)
时间:2021年10月11日(周一)19:00~20:00
形式:线上
入会方式:
腾讯会议 - ID:642 419 954
直播地址一:
https://event.baai.ac.cn/activities/169
直播地址二:
https://live.bilibili.com/21484823
报告简介:
近年来,自然语言处理任务的神经网络建模已经形成了几种主流范式,如序列标注、匹配、序列到序列等。相关研究发现,这些范式的迁移常常可以使得模型在特定任务中取得更好的效果,例如用序列到序列范式去解决一个序列标注任务。随着预训练模型的发展,自然语言处理中的范式迁移现象愈发频繁,并且涌现出了一些有潜力统一各类自然语言处理任务的通用范式。在本次报告中,我们将回顾近年来发生在自然语言处理领域中的范式迁移现象,对几个通用范式进行对比、分析和展望。
扫描如下二维码报名活动
了解更多信息请加入「自然语言处理」交流群