论文地址:https://arxiv.org/abs/2003.07278
基于上下文词Embedding 的论文,目前在arxiv 上2020新的paper
上下文嵌入,如ELMo和BERT,超越了Word2Vec这样的全局词表示,在自然语言处理任务中取得了突破性的性能。上下文编码根据上下文为每个单词分配一个表示,从而捕获不同上下文中单词的使用情况以及跨语言传输的编码知识。在这项调查中,我们回顾了现有的上下文嵌入模型、跨语言多语言预训练、上下文嵌入在下游任务中的应用、模型压缩和模型分析。
- 定义了上下文嵌入的概念。
- 介绍了获取上下文嵌入的现有方法
- 介绍了多语种语料库中语境嵌入的预训练方法
- 游任务中应用预先训练的上下文嵌入的方法
- 模型压缩方法
- 旨在识别语境嵌入所学到的语言知识的分析
- 未来研究面临的一些挑战。
-
Token Embeddings
-
Pre-training Methods for Contextual Embeddings