在自然语言处理中,使用Word2Vec来生成Word Embeddings是非常常用的一种做法,而gensim这个库提供了生成W2V的接口。
import os
import jieba
from gensim.models import Word2Vec
# 迭代器,使用jieba将句子进行分词
class Sentences(object):# 这个类可以根据实际情况重写,我已经将所有的文章进行分句,并整合到了一个文件里面
def __init__(self, dirname):
self.dirname = dirname # 句子所在文件,没句句子占一行
jieba.load_userdict("wordBase.txt")