简易中文自动文摘系统（二）：中文语料库的准备

    前文已经提及，汉语的语法和句型不同于英语，在进行分析之前需要进行分词。首先我们需要的是一个中文语料库，本文使用的是维基百科的中文语料库，大小约为1.57GB，下载之后从中提取中文语料库。再使用opencc将语料库繁简体转化之后，使用jieba分词将语料库中的段落、句子进行分词得到最终用于模型训练的中文语料库。

中文语料库

    本文使用的中文语料库为维基百科的中文语料库。通过以下链接进行下载：
http://download.wikipedia.com/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2
    下载之后得到的是一个压缩包：
 

    下载WikiExtractor.py文件，该脚本文件是意大利程序员使用Python研发的维基百科抽取器，简洁并且功能强大，可以抽取出维基百科中文语料库的内容并输出到文本文件。我们在macOS的终端运行以下命令行，使用Wikipedia Extractor抽取正文文本：

bzcat zhwiki-latest-pages-articles.xml.bz2 | python WikiExtractor.py -b 1000M -o extracted >output.txt

其中-b 1000M是将文本以1000M大小为单位进行分割；output.txt存储的是输出过程中日志信息而非所抽取的正文文本。

上图是抽取出的语料库，我们发现是繁体中文库。

我们这里使用opencc对语料库进行简化。同样，在macOS终端输入以下命令行：

opencc -i wiki_00 -o zh_wiki_00 -c zht2zhs.ini
opencc -i wiki_01 -o zh_wiki_01 -c zht2zhs.ini

得到简体中文的语料包zh_wiki_00和zh_wiki_01。简化后如下：

 

jieba分词

jieba分词是支持Python语言的中文分词组件。jieba分词在深度学习，自然语言处理中有着广泛使用，用法简单。

# encoding=utf-8
import jieba
import jieba.posseg as pseg

seg_list = jieba.cut("我来到南京邮电大学", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list))  # 全模式

seg_list = jieba.cut("我来到南京邮电大学", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))  # 精确模式

seg_list = jieba.cut("他就职于华为南京研究所")  # 默认是精确模式
print("/".join(seg_list))

seg_list = jieba.cut("小明本科毕业于南京邮电大学，后在北京邮电大学深造")
print("/".join(seg_list))

seg_list = jieba.cut_for_search("小明本科毕业于南京邮电大学，后在北京邮电大学深造")  # 搜索引擎模式
print("/".join(seg_list))

words = pseg.cut("我爱南京的新街口")#查看词性
for word, flag in words:
    print('%s %s' %(word, flag))

 输出结果如下：

运行以下代码，完成语料库的分词：

# encoding = utf-8
import jieba
import codecs
import re
f = codecs.open('cut_zh_wiki_00.txt', "a+", 'utf-8')
for line in open("zh_wiki_00"):
    for i in re.sub('[a-zA-Z0-9]', '', line).split(' '):
        if i != '':
            data = list(jieba.cut(i, cut_all = False))
            readline = ' '.join(data) + '\n'
            f.write(readline)
f.close()

分词结果如下：

由于在本实验中的停用词对结果影响可以忽略，所以本文并未进行去停用词，具体的去停用词方法读者可以自行上网查阅资料参考，去除停用词后语料库的数据将更为干净，结果更为精确。