【论文笔记】Deep contextualized word representations

之所以会来看这篇论文完全是因为bert那篇骗过来的。

ELMo and its predecessor (Peters et al, 2017, 2018a) generalize traditional word embedding research along a different dimension.

ELMo及其前身（Peters等人，20172018a）从不同的维度概括了传统的单词嵌入研究。

本篇论文为略读，对elmo感兴趣的可以看ELMo原理解析及简单上手使用 - 知乎 (zhihu.com)

深度语境化单词表示的两个挑战：（1）单词使用的复杂特征（例如，语法和语义），以及（2）这些使用如何在语言上下文中变化（即，建模多义）。

复杂特征建模

ELMo使用基于深度双向语言模型的训练方式来学习单词表示，其中模型被训练为预测给定上下文的下一个单词。通过这种方式，ELMo能够从大量的语言数据中学习到单词的复杂特征，包括上下文相关的信息。

多义词建模

ELMo通过使用双向语言模型，能够利用上下文信息对单词进行建模，并生成针对不同上下文的不同表示。这样，相同的单词在不同的上下文中可以具有不同的表示，从而更好地捕捉到多义性。