中文wiki数据下载地址约1.6G 20181027
英文wiki数据下载地址约15G 20181027
博主环境
win10 X64
Anaconda3.7
python3.5
wiki数据下载完成后的文件名为:enwiki-latest-pages-articles.xml.bz2 或者:zhwiki-latest-pages-articles.xml.bz2
解压后是xml格式,数据处理前首先需要把xml格式数据转换成TXT文件,
转换代码是:process_wiki.py