nlp期末复习-词向量

1、不能体现词的含义进行编码（one-hot）

2、单词按照含义进行编码成向量的方式称为word embedding

Word Embedding：Word2Vec(CBOW/Skip-gram)—>Glove

• 使用Word Embedding：句子中每个单词以Onehot形式作为输入，然后乘以学好的Word
  Embedding矩阵Q，就直接取出单词对应的Word Embedding了

• Word2Vec
  CBOW模型的训练输入是某一个特征词的上下文（context）相关的词对应的词向量，而输出就是这特定的一个词（目标单词target）的词向量。

  核心思想是从一个句子里面把一个词抠掉，用这个词的上文和下文去预测被抠掉的这个词；

  skip-gram模型和CBOW模型相反，目标单词现在在输入层，上下文单词在输出层

3、从Word Embedding到Bert模型

• Word Embedding：Word2Vec(CBOW/Skip-gram)—>Glove

!!!无法解决词的多义问题

缺点：
Word Embedding在对bank这个单词进行编码的时候，是区分不开这两个含义的，因为它们尽管上下文环境中出现的单词不同，但是在用语言模型训练的时候，不论什