- (2023-7-17)Word2Vec(https://zhuanlan.zhihu.com/p/114538417)(https://zhuanlan.zhihu.com/p/84301849)
- Word2vec 是 Word Embedding 的方法之一。他是 2013 年由谷歌的 Mikolov 提出了一套新的词嵌入方法。CBOW(Continuous Bag-of-Words Model)和Skip-gram (Continuous Skip-gram Model),是Word2vec 的两种训练模式。CBOW:通过上下文来预测当前值。相当于一句话中扣掉一个词,让你猜这个词是什么。Skip-gram:用当前词来预测上下文。相当于给你一个词,让你猜前面和后面可能出现什么词。
- 优化方法:为了提高速度,Word2vec 经常采用 2 种加速方式:Negative Sample(负采样)、Hierarchical Softmax。需要说明的是:Word2vec 是上一代的产物(18 年之前), 18 年之后想要得到最好的效果,已经不使用 Word Embedding 的方法了,所以也不会用到 Word2vec。
- 优点:由于 Word2vec 会考虑上下文,跟之前的 Embedding 方法相比,效果要更好(但不如 18 年之后的方法)、2. 比之前的 Embedding方 法维度更少,所以速度更快。 3.通用性很强,可以用在各种 NLP 任务中
- 缺点:1. 由于词和向量是一对一的关系,所以多义词的问题无法解决。2. Word2vec 是一种静态的方式,虽然通用性强,但是无法针对特定任务做动态优化
NLP算法工程师知识点总结
于 2023-07-17 13:41:11 首次发布