1.环境、操作平台
Windows7 64位,Anaconda3,Python3.5;
2.下载wiki中文语料(由于语料较大建议使用迅雷下载)
下载地址为:http://download.wikipedia.com/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2
3. 安装opencc用于中文的简繁替换
方法一: 安装exe的版本,到https://bintray.com/package/files/byvoid/opencc/OpenCC 中下载,选择适合自己的32位或64位软件,本人下载opencc-1.0.1-win64.7z,直接将其解压到自定义文件夹用于繁体转简体的使用,本人文件夹为:E:\model\wiki\opencc-1.0.1-win64(建议使用此方法,转换速度快,且安装不会出现问题)
方法二:安装Python版,使用命令 pip install opencc-python安装(不建议使用,安装时会出现各种问题)。
4.将下载的语料为文本txt格式(步骤二,方法一)
Anaconda3下用Python代码解决
from gensim.corpora import WikiCorpus
'''
读取中文wiki语料库,并解析提取xml中的内容
'''
def dataprocess():
space=" "
i=0
output=open('E:\model\wiki\zhwiki-articles