word2dec的算法

词向量的设计算法：

1：one-hot represention:就是用一个很长的向量来表示一个词，向量的长度为词典D的大小N，向量的分量只有一个1，其余全为0.1的位置对应该词在词典中的索引。但这种词向量表示有一些缺点，如容易受维数灾难的困扰，尤其是将其用于Deep Learning 场景时；也不能能很好的刻画词与词之间的相似性。

2：:Distributed Representation:通过训练将某种语言中的每一个词映射成一个固定长度的短向量，所有这些词向量构成一个词向量空间，而每一向量可以视为该空间的一个点，在这个空间上引入距离，就可以根据词之间的距离来判断它们之间的（语法语义）相似性了。word2dec就是采用的这种词向量。

模型：

1：基于Hierarchical Softmax 的CBOW模型（Continuous Bag-of-Words Model）:

2:基于Hierarchical Softmax 的Skip-gram模型（Continuous Skip-gram Model）:

3:基于Negative Sampling 的CBOW模型（Continuous Bag-of-Words Model）:

4:基于Negative Sampling 的Skip-gram模型（Continuous Skip-gram Model）: