论文:2018 NAACL 《Deep Contextualized Word Representations》
一、优点
1.学习单词的复杂特征,包括语法、语义
2.学习在不同上下文下的一词多义
二、模型
1.Bidirectional language models(BLM)
首先给定N个单词的序列,
1)前向语言模型,已知前k-1个单词 ,预测第k个单词
的概率:
2)后向语言模型,已知下文
论文:2018 NAACL 《Deep Contextualized Word Representations》
一、优点
1.学习单词的复杂特征,包括语法、语义
2.学习在不同上下文下的一词多义
二、模型
1.Bidirectional language models(BLM)
首先给定N个单词的序列,
1)前向语言模型,已知前k-1个单词 ,预测第k个单词
的概率:
2)后向语言模型,已知下文