原文链接: http://mccormickml.com/2019/03/12/the-inner-workings-of-word2vec/
本文链接:https://download.csdn.net/download/bound2020/11177557
目录:
引言
欢迎来到我的word2vec电子书。无论你是正在学习机器学习先进理论的学生、或者是正在探索新技术和新想法的研究员、又或是有着构建新产品和新功能的远大理想的工程师,我希望本书能帮助你对算法有更深入的理解,让你能够更快实现自己的目标以及更好的产出。
以下是本书的内容概要:
第1章:词向量及其应用
本章将会回答两个问题:“什么是词向量?”,“它们如何有用?”。我会解释词向量是如何衡量两个词语的意思的相似度,以及词向量在大量实际应用中的价值。如果你已经很熟悉词向量的动机和应用,可以跳过这部分内容。
第2章:Skip-gram模型架构
在了解了词向量的价值之后,本章会从概念和实现两个方面讲述word2vec是如何对词的意思进行学习、编码。
第3章:采样
第二章描述的架构虽然概念很好,但是实现起来的代价太大了。Negative Sampling是对训练过程的微调,大大提高了速度的同时又能生成质量更高的结果。
第4章:模型的变体
为了完整性起见,本章描述了Continuous-Bag-of-Words (CBOW)模型,(可以作为Skip-gram的替代技术,在word2vec原论文中也有提到),以及Hierarchical Softmax (Negative Sampling的一种替代技术) 。
第5章:常见问题
该部分问答了几个关于word2vec的常见问题(还有一些常见的误解)。
第6章:资源
该部分列出了有助于进一步深入的资源:
- 原论文和代码实现
- 解释数学公式的几篇文章
- word2vec几个代码实现的简要调查