Word Embedding News｜词嵌入新鲜事：六月刊：GPT-3来了

这里是 WEN（Word Embedding News）｜词嵌入新鲜事。

作为起步，它将基于 Sebastian Ruder NLP News 的每月筛选，聚焦词嵌入领域。对涉及内容在本人阅读后的基础上进行总结、评论。不简单复制，力求做到小而精。

关于作者：张正，坐标巴黎，上班NLP，下班词嵌入。

没想到词嵌入新鲜事第二期就要改变起步策略：之前说“它将基于 Sebastian Ruder NLP News [6] 的筛选，聚焦词嵌入领域”，结果前脚说完，Sebastian 就在最新一期 NLP News 中说：

Overall, I’ve realized that trying to provide a comprehensive mix of everything that has been going on is not sustainable for me. So I’ll try to refocus ‍with this newsletter and to prioritize covering fewer things in-depth.

非常理解他的选择，一个人想要紧跟 NLP 各个领域的最新发展，对时间和精力都是巨大的挑战，专注于某几个领域对个人来说是更好的选择。

这件事对词嵌入新鲜事的直接影响是，我不能再从这单一信息源做筛选深挖了。塞翁失马，焉知非福，我一方面“被迫”需要搜集阅读更多的信息源、一方面对内容的选择编排有了更大的自主性。希望一步一步不断学习、优化，做得更好。

好了，下面是词嵌入新鲜事 2020 六月刊。

6 月里最最最重要的新鲜事是 MOJITO。除此之外，词嵌入领域，本期重点关注三个组织：

• ACL：词嵌入研究趋势

• OpenAI：GPT3 来了

• AI2：NLP Highlights 推荐

ACL 2020 之词嵌入研究趋势

ACL 2020 发榜不久，官方于 6 月 4 日公布了相关统计数据。

https://acl2020.org/blog/general-conference-statistics/

单看数据，词嵌入研究工作通常所属的 Semantics: Lexical 中稿率与 Discourse and Pragmatics 并列倒数第一，17.9%，远低于 22.7% 的总平均值。

如果再搭配 Trends of ACL 的动态图，观察 word-level semantics 变化趋势，打击倍增。

https://public.flourish.studio/visualisation/2431551/?utm_campaign=NLP%20News&utm_medium=email&utm_source=Revue%20newsletter

当然，Semantics：Lexical 并不直接等同于词嵌入研究，随着 word embedding 在 NLP 中的广泛应用，及 language modelling 对词嵌入研究方向的推动，我们这里宽泛意义上的“词嵌入研究”越来越多地存在于不同的 track 中。

比如，在 ACL 2020 词嵌入长文汇总分类中，仅长文就 37 篇，远多于 Semantics：Lexcial 总录取数 17 篇。

GPT 之野望ÿ