这里是 WEN(Word Embedding News)|词嵌入新鲜事。
作为起步,它将基于 Sebastian Ruder NLP News 的每月筛选,聚焦词嵌入领域。对涉及内容在本人阅读后的基础上进行总结、评论。不简单复制,力求做到小而精。
关于作者:张正,坐标巴黎,上班NLP,下班词嵌入。
没想到词嵌入新鲜事第二期就要改变起步策略:之前说“它将基于 Sebastian Ruder NLP News [6] 的筛选,聚焦词嵌入领域”,结果前脚说完,Sebastian 就在最新一期 NLP News 中说:
Overall, I’ve realized that trying to provide a comprehensive mix of everything that has been going on is not sustainable for me. So I’ll try to refocus with this newsletter and to prioritize covering fewer things in-depth.
非常理解他的选择,一个人想要紧跟 NLP 各个领域的最新发展,对时间和精力都是巨大的挑战,专注于某几个领域对个人来说是更好的选择。
这件事对词嵌入新鲜事的直接影响是,我不能再从这单一信息源做筛选深挖了。塞翁失马,焉知非福,我一方面“被迫”需要搜集阅读更多的信息源、一方面对内容的选择编排有了更大的自主性。希望一步一步不断学习、优化,做得更好。
好了,下面是词嵌入新鲜事 2020 六月刊。
6 月里最最最重要的新鲜事是 MOJITO。除此之外,词嵌入领域,本期重点关注三个组织:
ACL:词嵌入研究趋势
OpenAI:GPT3 来了
AI2:NLP Highlights 推荐
ACL 2020 之词嵌入研究趋势
ACL 2020 发榜不久,官方于 6 月 4 日公布了相关统计数据。
https://acl2020.org/blog/general-conference-statistics/
单看数据,词嵌入研究工作通常所属的 Semantics: Lexical 中稿率与 Discourse and Pragmatics 并列倒数第一,17.9%,远低于 22.7% 的总平均值。
![](https://i-blog.csdnimg.cn/blog_migrate/1b66de39e75f8a121d2cb2a8f9e54dc2.png)
如果再搭配 Trends of ACL 的动态图,观察 word-level semantics 变化趋势,打击倍增。
https://public.flourish.studio/visualisation/2431551/?utm_campaign=NLP%20News&utm_medium=email&utm_source=Revue%20newsletter
当然,Semantics:Lexical 并不直接等同于词嵌入研究,随着 word embedding 在 NLP 中的广泛应用,及 language modelling 对词嵌入研究方向的推动,我们这里宽泛意义上的“词嵌入研究”越来越多地存在于不同的 track 中。
比如,在 ACL 2020 词嵌入长文汇总分类中,仅长文就 37 篇,远多于 Semantics:Lexcial 总录取数 17 篇。