用gensim库训练word2vec踩过的坑

最近在进行毕设，也用tensorflow写了一个skip-gram算法的embedding

由于是论文复现，需要的embedding matrix（skip-gram，dimension = 400，negative samples =10） 和网上现有的训练好的词向量不太一样，于是开始尝试自己训练

整个过程分为两部分

1.训练demo： text8.zip

先贴代码

 

#!/usr/bin/env python

# -*- coding: utf-8 -*-

from gensim.models import word2vec

import logging

 

# 主程序

logging.basicConfig(

format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)

sentences = word2vec.Text8Corpus(r