1.在https://dumps.wikimedia.org/zhwiki/20190501/下载数据,数据包的名字为:
zhwiki-20190501-pages-articles.xml.bz2 1.6g,
2.对数据进行预处理,下载好后不需要解压缩
(1)数据为xml格式,编写脚本进行处理,这里给出一个脚本处理文件。
ps:
注意输出格式encoding=‘utf8’, mode=‘w’
https://pan.baidu.com/s/1Z2iX4mlohosaaqKCqsHJHg
提取码:9wf4
cmd:
python wiki_process.py zhwiki-20190501-pages-articles.xml.bz2 test.txt
(2)wiki的中文数据默认为繁体,对中文进行简体化。采用opencc工具。
下载地址:
https://bintray.com/package/files/byvoid/opencc/OpenCC
下载版本:
opencc-1.0.1-win64.7z
对其解压,将需要处理的文件放在该文件夹的一级目录下。
cmd cd opencc路径,
命令:
opencc -i wiki_demo.txt -o test.txt -c t2s.json
第一个为需要处理的文件名,第二个为处理后的文件名
处理好的文件基本上可以word2vec的使用了,具体看下一篇文章。
ps:被处理的文件需要是utf-8的数据格式,否则输出的文件为空。
最终结果: