参考: http://licstar.net/archives/262
https://flystarhe.github.io/2016/08/31/wiki-corpus-zh/
参考了上面两篇文章,但是他们都是基于Linux + python2.7的,有一些老方法或链接行不通,这里是windows + python3.5 + gensim。
首先把需要下载的东西都列出来
1. 语料:下载地址是https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2,或者在这里找https://dumps.wikimedia.org/zhwiki/。这个文件只包含了标题和正文,不包含词条之间的链接信息,大小约为1.3G。
2.WikiExtractor:用于从原始的xml文件中提取出标题和正文。地址https://github.com/attardi/wikiextractor/blob/master/WikiExtractor.py。因为这个文件不依赖