EMNLP 2023 亮点回顾：大模型时代下的 NLP 研究

Jina AI

于 2023-12-20 23:05:08 发布

阅读量1.9k

点赞数 25

文章标签：人工智能 embedding

本文链接：https://blog.csdn.net/Jina_AI/article/details/135119678

版权

作为自然语言处理（NLP）领域的顶级盛会，EMNLP 每年都成为全球研究者的关注焦点。2023 年的会议在新加坡举行，聚集了数千名来自世界各地的专家学者，也是自疫情解禁以来，中国学者参会最多的一次。巧的是，EMNLP 似乎总在召开时迎来业界大新闻。去年此时，ChatGPT 的发布引发学术大地震，颠覆了传统 NLP 的研究格局；今年，新兴的 Gemini 模型又在会议上引发热议，让好不容易挺过来的 NLPer 直摇头，还让不让人好好开会了！

无可否认，大模型的降维打击，使得传统 NLP 方法逐渐退场，也带来了行业中长期存在问题和挑战的深入反思。在大模型时代，NLP 领域的研究方向和应用场景正发生着根本性的变化。

在这篇文章里，Jina AI 创始人兼 CEO 肖涵博士和高级算法工程师 Michael，将带你速览本次 EMNLP 2023 新加坡大会。本文将从论文、海报和 BoF 会议等多个角度出发，全面回顾本次大会的最新研究成果，并深入探讨大型语言模型、向量技术、多模态大模型等热门话题。

两年一瞥：EMNLP 2022 与 2023 的变迁

2022 年，我有幸参加了阿布扎比的 EMNLP 会议。一年后，我来到了新加坡，参加了 EMNLP 2023。在这短短的一年里，我见证了自然语言处理（NLP）研究领域的重大变迁。

EMNLP	2022：传统方法的坚守	2023：大型语言模型的崛起
主要研究重点	聚焦在 NLP 传统方法。	重点关注大型语言模型（LLM）和提示词工程。
研究动态	研究主题广泛，但鲜有开创性的突破论文。	转向 LLM 的可解释性、Agent 和多模态模型。
会议氛围	由于 ChatGPT 的发布及其对传统 NLP 方法的影响，有点悲观和彷徨。	研究人员拥抱新趋势的信心和适应性更强。
研究多样性	仍在探索传统方法，如 topic models、n-gram 平滑和贝叶斯方法（如 COLING 2022 中所示）。	快速适应 LLM 时代的新方法，摆脱传统方法。
论文时效性	由于 ChatGPT 在开会前三天发布，所以时效性锐减。	2023 年 AI 发展越来越快，导致一些经验方法和结果在会议召开时就已经过时了。
参与度	注重 Keynote 和 Long oral，而不是 Poster。	Poster 的人气远高于 Long oral。

2022 年的 EMNLP 会议仍聚焦于 NLP 的传统方法。研究者们探讨了从 topic models 到 n-gram 平滑再到贝叶斯方法的各种经典技术。虽然那时的研究主题广泛，但鲜有真正的创新突破。尽管当时的会议氛围因 ChatGPT 的发布而略显悲观和彷徨，但参会者们依旧积极探索和讨论彼此的研究。

一年之后，情况发生了翻天覆地的变化。EMNLP 2023 的核心议题集中在大型语言模型（LLM）及其提示词技术等，研究者们全面拥抱起了新趋势。并且此次我们还注意到了一个有趣的现象：AI 发展越来越快，导致许多六个月前的论文和研究成果，在会议召开时就已经过时了，这也给 EMNLP 会议的 review 带来了挑战，只有跟着 AI 的发展一起加速，才能更好地评估研究成果的价值。

这两年的 NLP 领域经历了巨大变迁，每一届 EMNLP 不仅是对过去的回顾，也是对未来的展望。随着技术的不断演化，我们期待 NLP 领域将将呈现出更多令人振奋的新面貌。