利用word2vec实现关键词聚类

一、训练自己的词向量

通常需要以下4个步骤：

1.语料准备，从原始的语料中提取出我们需要的语料信息

2.分词：这里采用jieba分词，另外加载了自定义的词典和停用词典，停用词典使用的是哈工大停用词词典https://github.com/orangefly0214/stopwords，自定义词典和自己训练的词向量的主题相关，需要自己定义，自定义词典的格式可参加jieba官网给出的格式，https://raw.githubusercontent.com/fxsjy/jieba/master/extra_dict/dict.txt.big,第一列是单词，第二列是词频，第三列是标注出来的词性，如果没有，二三列也可以默认为空。

3.加载分词后的语料利用gensim训练word2vec模型。训练时，可以用word2vec.Text8Corpus来加载需要训练的语料，另外需要自己设置窗口大小，迭代次数以及词向量的维度等等。

代码如下：

#! usr/bin/env python3
# -*- coding:utf-8 -*-
import jieba
import jieba.posseg as psg
from gensim.models import word2vec
import gensim
import re
#提取语料
def extract(path,save):
    with open(path,'r