本文介绍了Word2Vec的基本概念，包括词嵌入、Skip-gram和CBOW模型。重点讲解了Skip-gram模型的简单形式及其网络结构，阐述了Word2Vec通过降维将词语转换为词向量的过程。同时提到了训练技巧如hierarchical softmax和negative sampling，以及Word2Vec在现代语言模型如BERT中的应用。
一. 引言 
本文仅作简要概述，萌新可扫盲用。不涉及算法推导过程，具体算法推导过程请关注参考文献2。笔者也会将自己的学习推导过程附在文章后，有兴趣者可以留言交流，共同学习。
二. 参考资料总结
1. Mikolov原论文（两篇）：
《Efficient Estimation Of Word Representations In Vector Space》
贡献：
《Distributed Representations Of Sentences And Documents》
贡献：
2. Xin Rong的论文：
《Word2Vec Parameter Learning Explained》
（重点推荐！理论完备；易懂；直击要害；）
【R.I.P，Rong Xin于2017年驾驶飞机失事，缅怀；感谢为科研奉献了如此优秀的论文】
3. [NLP] 秒懂词向量Word2vec的本质 - 穆文的文章 - 知乎 https://zhuanlan.zhihu.com/p/26306795（本文主要借鉴、学习路线；感觉写的有很多勘误，作者学习后予以改进）
最低0.47元/天 解锁文章
728
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
