青源 LIVE 预告 | 复旦大学：NLP 的范式迁移

近日，复旦大学邱锡鹏教授在其微信朋友圈介绍了他们关于自然语言处理（NLP）研究趋势的最新思考。

他们认为，近年来伴随着预训练模型的出现， NLP 任务趋向于统一范式；而与此同时，NLP 中的范式迁移现象也愈发频繁，并且涌现出了一些有潜力统一各类自然语言处理任务的通用范式。

在早前，同样来自复旦大学，现于卡耐基梅隆大学（CMU）进行博后研究的刘鹏飞博士，曾发表一篇博客文章《NLP 的第四范式

P1. 非神经网络时代的完全监督学习 （Fully Supervised Learning, Non-Neural Network）

P2. 基于神经网络的完全监督学习 (Fully Supervised Learning, Neural Network)

P3. 预训练，精调范式 (Pre-train, Fine-tune)

P4. 预训练，提示，预测范式（Pre-train, Prompt, Predict）

在不同范式变迁过程中，有些东西是不变的，如果能够把这些不变的东西挖掘出来，会对 NLP 未来的发展起到重要的指导作用。

论文地址：

https://arxiv.org/pdf/2109.12575.pdf

代码地址：

https://txsun1997.github.io/nlp-paradigm-shift/

在上面这篇论文中，孙天祥等人通过对NLP研究范式进行对比及分析，提出了许多建设性展望。

为将复旦大学在这方面的思考介绍给大家，智源社区特邀请了论文作者孙天祥对其工作内容进行在线直播报告。

---

孙天祥，复旦大学博士生，师从邱锡鹏教授和黄萱菁教授，主要关注自然语言处理中的多任务学习、知识融入、高效推理等方向，研究成果发表于AAAI, COLING, ACL, NAACL等会议，担任相关会议审稿人。

主题：自然语言处理中的范式迁移（Paradigm Shift in NLP）

时间：2021年10月11日（周一）19:00～20:00

形式：线上

入会方式：

腾讯会议 - ID：642 419 954

直播地址一：

https://event.baai.ac.cn/activities/169

直播地址二：

https://live.bilibili.com/21484823

报告简介：

近年来，自然语言处理任务的神经网络建模已经形成了几种主流范式，如序列标注、匹配、序列到序列等。相关研究发现，这些范式的迁移常常可以使得模型在特定任务中取得更好的效果，例如用序列到序列范式去解决一个序列标注任务。随着预训练模型的发展，自然语言处理中的范式迁移现象愈发频繁，并且涌现出了一些有潜力统一各类自然语言处理任务的通用范式。在本次报告中，我们将回顾近年来发生在自然语言处理领域中的范式迁移现象，对几个通用范式进行对比、分析和展望。

---

扫描如下二维码报名活动

了解更多信息请加入「自然语言处理」交流群