word2vec_gensim 中文处理 小试牛刀

word2vec－gensim介绍

gensim 是word2vec的python实现。
word2vec是google的一个开源工具，能够计算出词与词之间的距离。
word2vec即是word to vector的缩写，一个word to vector的处理技术或模型通常被称为“Word Representation”或“Word Embedding”
word2vec使用深度学习的方式进行训练得出词向量。其相关原理可以直接搜索关键字“word2vec”了解。

小实验介绍

得到的这个词向量在NLP 相关的工作中大有可为，比如聚类、找同义词、词性分析等等。下面我们就来用它处理一些中文语料来测验一下它的功能。

英文语料有一些很不错的已经训练好的模型，可以直接用。但中文方面我并没有找到合适的，于是自己下载了近100M的语料（主要是古诗文和金庸，古龙的小说），语料偏古文，因为我最终要用它来根据一句诗生成一句近似的新诗。
比如input：“相期乃不浅” ，它会得到output：“相期乃未浅”。
数据集虽小，但最终效果并不是很差（取决于输入的诗句），所以拿出来晒晒。

代码

代码很简单，就三个函数：
1. txt2unicode() 将所有语料变成一个单行组成的list（即line_list），文字全部转为unicode；
2. uni_line_list2gen_model()将上一步生成的line_list用来生成一个gensim model；
3. replace_word()使用gensim model来生成新诗。