- BERT生成的动态词向量和word2vec的词向量的区别:
Bert的动态词向量指的是将文本经过Bert处理之后形成的表示。
word2vec的词向量是在一个预训练好的词表示矩阵中查某个词的表示向量。
区别就在于计算前者的时候需要过一次模型,后者直接检索(look up)参数表就能得到,不需要过模型。细说的话,每个模型都要为所有单词创建一个固定的向量表示(所有单词的表示构成一个矩阵),然后训练时优化它。静态的意思就在这,每个单词的表示是固定的。Bert也有这样的矩阵,所以我们也可以用检索的方式获得Bert的静态词向量。动态词向量是模型依据单词上下文计算的表示,是根据上下文变化的。
https://www.zhihu.com/question/417617174/answer/1436607
BERT生成词向量
最新推荐文章于 2024-08-14 13:33:00 发布