# -*- coding: utf-8 -*-
import gensim
import os
class MySentences(object):
def __init__(self, dirname):
self.dirname = dirname
def __iter__(self):
for fname in os.listdir(self.dirname):
for line in open(os.path.join(self.dirname, fname)):
yield line.split()
sentences = MySentences('D:/bigdata/word2vec/sens') #sens是文件夹名,把分好词的文件放在文件夹里即可
#文件用utf-8编码,第一行留空
model = gensim.models.Word2Vec(sentences,min_count = 0,size =50,workers=2)
#第一个参数可以对字典做截断. 少于min_count次数的单词会被丢弃掉, 默认值为5
#worker参数只有在安装了Cython后才有效. 没有Cython的话, 只能使用单核
#######################
#下面几步均可以直接注释
#model.save('c:/sens/mymodel') #存储模型,sens也是一个文件夹名,mymodel就是生成的文件名
#new_model = gensim.models.Word2Vec.load('c:/sens/mymodel') #加载模型
#model = model.save_word2vec_format('/sens/vectors.txt', binary=False) #存储C下的模型
#model=model.load_word2vec_format('/sens/vectors.bin.gz', binary=True) #加载c下的模型
#model = gensim.models.Word2Vec.load('/sens/mymodel') #加载模型并添加句子继续训练
#more_sentences = MySentences('C:/sens/')
#model.train(more_sentences)
#######################
for i in model.most_similar('可爱',topn=10): #找出最近n各单词
for k in i:
print k
print '\n'
print model.similarity('可爱','天真') #查看两个单词距离
print '\n'
print model.most_similar(positive=['女王', '公主'], negative=['国王'], topn=1)[0][0]#单词相加减
print '\n'
print model.n_similarity(["天真","可爱"],["丑陋","卑鄙"]) #查看两组单词距离
print '\n'
print model.doesnt_match("天真 善良 丑陋".split()) #找出不相近单词
word2vec纯程序+注释
最新推荐文章于 2022-11-07 15:25:52 发布