word2vec训练词向量 python_使用Gensim word2vector训练词向量

注意事项

Skip-Gram models：输入为单个词，输出目标为多个上下文单词；

CBOW models：输入为多个上下文单词，输出目标为一个单词；

选择的训练word2vec的语料要和要使用词向量的任务相似，并且越大越好，论文中实验说明语料比训练词向量的模型更加的重要，所以要尽量收集大的且与任务相关的语料来训练词向量；

语料小(小于一亿词，约 500MB 的文本文件)的时候用 Skip-gram 模型，语料大的时候用 CBOW 模型；

设置迭代次数为三五十次，维度至少选 50，常见的词向量的维度为256、512以及处理非常大的词表的时候的1024维；

模型训练：

LineSentence(inp)：格式简单：一句话=一行; 单词已经过预处理并被空格分隔。

size：是每个词的向量维度；

window：是词向量训练时的上下文扫描窗口大小，窗口为5就是考虑前5个词和后5个词；

min-count：设置最低频率，默认是5，如果一个词语在文档中出现的次数小于5，那么就会丢弃；

workers：是训练的进程数(需要更精准的解释，请指正)，默认是当前运行机器的处理器核数。这些参数先记住就可以了。

sg ({0, 1}, optional) – 模型的训练算法: 1: skip-gram; 0: CBOW

alpha (float, optional) – 初始学习率

iter (int, optional) – 迭代次数，默认为5

model=Word2Vec(LineSentence(inp),size=400,window=5,min_count=5,workers=multiprocessing.cpu_count())

model.save(outp1)

#不以C语言可以解析的形式存储词向量

model.wv.save_word2vec_format(outp2,binary=False)

模型使用：