本文介绍了在Windows上使用Python3.5和gensim处理中文维基百科语料的过程，包括下载语料、使用WikiExtractor提取文本以及进行繁体到简体的转换。通过提供的链接和步骤，读者可以了解如何在Windows环境下进行预处理。
参考： http://licstar.net/archives/262https://flystarhe.github.io/2016/08/31/wiki-corpus-zh/
参考了上面两篇文章，但是他们都是基于Linux + python2.7的，有一些老方法或链接行不通，这里是windows + python3.5 + gensim。
首先把需要下载的东西都列出来
1. 语料：下载地址是https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2，或者在这里找https://dumps.wikimedia.org/zhwiki/。这个文件只包含了标题和正文，不包含词条之间的链接信息，大小约为1.3G。
2.WikiExtractor：用于从原始的xml文件中提取出标题和正文。地址https://github.com/attardi/wikiextractor/blob/master/WikiExtractor.py。因为这个文件不依赖
最低0.47元/天 解锁文章
361
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
