清华 词向量库_word2vec 构建中文词向量

词向量作为文本的基本结构——词的模型，以其优越的性能，受到自然语言处理领域研究人员的青睐。良好的词向量可以达到语义相近的词在词向量空间里聚集在一起，这对后续的文本分类，文本聚类等等操作提供了便利，本文将详细介绍如何使用word2vec构建中文词向量。

一、中文语料库

下载下来的文件名为： news_sohusite_xml.full.tar.gz

二、数据预处理

2.1 解压并查看原始数据

cd 到原始文件目录下，执行解压命令：

tar -zvxf news_sohusite_xml.full.tar.gz

得到文件 news_sohusite_xml.dat, 用vim打开该文件，

vim news_sohusite_xml.dat

得到如下结果：

2.2 取出内容

取出   中的内容,执行如下命令：

cat news_tensite_xml.dat | iconv -f gbk -t utf-8 -c | grep "" > corpus.txt

得到文件名为corpus.txt的文件，可以通过vim 打开

vim corpus.txt

得到如下效果：

2.3 分词

注意，送给word2vec的文件是需要分词的，分词可以采用jieba分词实现，安装jieba 分词

pip install jieba

对原始文本内容进行分词，python 程序如下：

1 ##!/usr/bin/env python

2 ## coding=utf-8

3 importjieba4

5 filePath='corpus.txt'

6 fileSegWordDonePath ='corpusSegDone.txt'

7 #read the file by line