| Model | 优点 | 不足 |
| Weighted Words | ·易于计算 ·易于计算文档间相似度 ·提取说明性词汇的basic metric ·可以处理未知词 | ·不能捕获词语位置信息(句法) ·不能捕获词语意义（语义） ·常用词影响结果（am， is） |
| TF-IDF | ·易于计算 ·易于计算文档间相似度 ·提取说明性词汇的basic metric ·常用词不影响结果 | ·不能捕获词语位置信息（句法） ·不能捕获词语意义（语义） |
| Word2Vec (Google, 2013) | ·可以捕获词语位置信息(句法) ·可以捕获词语意义 | ·不能捕获词语多义性 ·不能捕获语料库外的词汇 |
| GloVe(Pre-Trained) | ·可以捕获词语位置信息(句法) ·可以捕获词语意义 ·在大规模语料库上训练 | ·不能捕获词语多义性 ·不能捕获语料库外的词汇 ·内存开销大 |
| GloVe(Trained) (stanford, 2014) | ·词向量可快速捕获向量空间中的次线性关系（性能优于Word2vec） ·常用词权重低 | ·不能捕获词语多义性 ·不能捕获语料库外的词汇 ·内存开销大 ·需要大规模语料库用语训练 |
| FastText (facebook, 2016) | ·可以处理稀有词 ·利用字符级别n-gram处理语料库外的词语 | ·不能捕获词语多义性 ·内存开销大 ·相比GloVe和Word2Vec，计算成本高 |
| Contextualized Word Representations (ELMo, NAACL18 Best Paper, 2018) | ·可以捕获单词在文中的含义（结合上下文，处理一词多义） | ·内存开销大 ·显著提高下游任务性能，但计算成本高 ·LSTM和feedforward layers需要额外word embedding ·不能捕获语料库外的词汇 ·只处理句子或文本级别 |
06-26
05-04
2107
2107
“相关推荐”对你有帮助么？
-
非常没帮助 -
没帮助 -
一般 -
有帮助 -
非常有帮助
提交
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
