A Survey on Contextual Embedding 论文笔记

论文地址：https://arxiv.org/abs/2003.07278

基于上下文词Embedding 的论文，目前在arxiv 上2020新的paper

上下文嵌入，如ELMo和BERT，超越了Word2Vec这样的全局词表示，在自然语言处理任务中取得了突破性的性能。上下文编码根据上下文为每个单词分配一个表示，从而捕获不同上下文中单词的使用情况以及跨语言传输的编码知识。在这项调查中，我们回顾了现有的上下文嵌入模型、跨语言多语言预训练、上下文嵌入在下游任务中的应用、模型压缩和模型分析。

1. 定义了上下文嵌入的概念。
2. 介绍了获取上下文嵌入的现有方法
3. 介绍了多语种语料库中语境嵌入的预训练方法
4. 游任务中应用预先训练的上下文嵌入的方法
5. 模型压缩方法
6. 旨在识别语境嵌入所学到的语言知识的分析
7. 未来研究面临的一些挑战。

•  Token Embeddings

•    Pre-training Methods for Contextual Embeddings