word2vec
word2vec是一个处理文本的双层神经网络,它的输入是一个文本语料库,输出是一组向量,即该语料库中单词的特征向量。word2vec工具主要包含两个模型:跳字模型(skip-gram)和连续词袋模型(continuous bag of words,CBOW),以及两种高效训练的方法:负采样(negative sampling)和层序softmax(hierarchical softmax)。CBOW模型的训练输入是某一个特征词的上下文相关的词对应的词向量,而输出就是这特定的一个词的词向量。Skip-Gram模型和CBOW的思路是反着来的,即输入是特定的一个词的词向量,而输出是特定词对应的上下文词向量。