[翻译]深入理解word2vec

原文链接： http://mccormickml.com/2019/03/12/the-inner-workings-of-word2vec/

本文链接：https://download.csdn.net/download/bound2020/11177557

目录：

引言

欢迎来到我的word2vec电子书。无论你是正在学习机器学习先进理论的学生、或者是正在探索新技术和新想法的研究员、又或是有着构建新产品和新功能的远大理想的工程师，我希望本书能帮助你对算法有更深入的理解，让你能够更快实现自己的目标以及更好的产出。

以下是本书的内容概要：

第1章：词向量及其应用

本章将会回答两个问题：“什么是词向量？”，“它们如何有用？”。我会解释词向量是如何衡量两个词语的意思的相似度，以及词向量在大量实际应用中的价值。如果你已经很熟悉词向量的动机和应用，可以跳过这部分内容。

第2章：Skip-gram模型架构

在了解了词向量的价值之后，本章会从概念和实现两个方面讲述word2vec是如何对词的意思进行学习、编码。

第3章：采样

第二章描述的架构虽然概念很好，但是实现起来的代价太大了。Negative Sampling是对训练过程的微调，大大提高了速度的同时又能生成质量更高的结果。

第4章：模型的变体

为了完整性起见，本章描述了Continuous-Bag-of-Words (CBOW)模型，（可以作为Skip-gram的替代技术，在word2vec原论文中也有提到），以及Hierarchical Softmax (Negative Sampling的一种替代技术) 。

第5章：常见问题

该部分问答了几个关于word2vec的常见问题（还有一些常见的误解）。

第6章：资源

该部分列出了有助于进一步深入的资源：

1. 原论文和代码实现
2. 解释数学公式的几篇文章
3. word2vec几个代码实现的简要调查