使用gensim处理文本（1）语料库与词向量空间

1、概述

目前有很多成型框架来进行自然语言处理，其中针对中文语料，使用jieba进行分词然后使用gensim进行词向量处理是一个不错的选择。

将文本变换成向量是自然语言中非常重要的一个内容。因为文本是不能直接被计算机进行运算处理的。所以将文本转化为词向量是所有工作的第一步。

2、将文本转化为向量

将文本转化为向量的方式有很多种，在本章中主要使用统计学的词向量转化。在进行中文的处理时需要提前进行分词，有时候还需要设置自己的专属名词以保证分词的准确性。这个不是重点，假如我们已经有了一个处理好的中文分词的文档语料。在此基础上进行后续操作。

使用padas读取语料数据：

import pymysql as db
import numpy as np
import pandas as pd
train_data = pd.read_csv('../cutword_ths.csv',delimiter=' ',header=None,names=['id','text'])
train_data.head()

效果如下图所示：

将对应的text转化为二位的list数据，以方便gensim生成向量，请参照如下代码：

import pprint
text = train_