wiki数据处理

1.在https://dumps.wikimedia.org/zhwiki/20190501/下载数据，数据包的名字为：
zhwiki-20190501-pages-articles.xml.bz2 1.6g，
2.对数据进行预处理，下载好后不需要解压缩
（1）数据为xml格式，编写脚本进行处理，这里给出一个脚本处理文件。
ps：
注意输出格式encoding=‘utf8’, mode=‘w’

https://pan.baidu.com/s/1Z2iX4mlohosaaqKCqsHJHg
提取码：9wf4
cmd:
python wiki_process.py zhwiki-20190501-pages-articles.xml.bz2 test.txt

（2）wiki的中文数据默认为繁体，对中文进行简体化。采用opencc工具。
下载地址：
https://bintray.com/package/files/byvoid/opencc/OpenCC
下载版本：
opencc-1.0.1-win64.7z

对其解压，将需要处理的文件放在该文件夹的一级目录下。
cmd cd opencc路径，
命令：

opencc -i wiki_demo.txt -o test.txt -c t2s.json

第一个为需要处理的文件名，第二个为处理后的文件名

处理好的文件基本上可以word2vec的使用了，具体看下一篇文章。

ps：被处理的文件需要是utf-8的数据格式，否则输出的文件为空。

最终结果: