用gensim实现word2vec 和 glove

本篇讲讲gensim的word2vec模型的使用以及 glove模型用gensim来实现!

首先我们来讲word2vec,  刚开始接触的时候比较迷糊, 我是从tensorflow的神经网络切入的,了解了one-hot 知道要将word 转换成向量才能作为tensor的输入,因此之前的文章也专门写了怎么将word 转换成是很tensor输入格式的操作.网络上大部分文章都会很详尽的讲述了word2vec的原理, CBOW 和 SKIP-GRAW是word2vec的两种基本模型,前者是以周边词预测中间词,后者是以中间词预测周边词.具体原理本文就不在讲述了.总而言之 word2vec 是一种将word转换成词向量的方法,  你可以用tensorflow来实现,也可以用现成的 gensim来实现.  gensim中已经将word2vec训练好了,你只需要将语料传入gensim定义好的方法中,则无需再设计什么神经网络的框架,gensim内部已经定义了一套完整的框架来训练你传入的语料,当然 window_size 这样的参数是要自己传入的!

话不多说我们上代码:

import jieba
from gensim.models import word2vec
#对你的语料进行分词， 目前用的是jieba分词，为什么要进行分词？ 因为中文语意强大，因此进行分词能够更好的将有意义的词放在一起
#如果你对你的分词结果不满意，也可以认为干预， 比如用jieba.suggest_freq()函数来制定某些分词

def jieba_cut(filename, cut_filename):

    with open(filename, 'rb') as f:
        mycontent = f.read()
        jieba_content = jieba.cut(mycontent, cut_all=False)
        final_file = ' '.join(jieba