如何使用中文维基百科语料

前言

在做自然语言处理时很多时候都会需要中文语料库，高质量的中文语料库较难找，维基百科和百度百科算是比较不错的语料库。其中维基百科会定时将语料库打包发布 https://dumps.wikimedia.org/zhwiki/ ，可以下载最新版本的语料库。而百度百科则需要自己去爬，不过也有人把爬好的语料贡献出来了，https://pan.baidu.com/share/init?surl=i3wvfil提取码 neqs 。

这篇文章主要讲下如何使用中文维基百科的语料库。

Wikipedia Dump

通过 https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2 可以下载最新的中文维基百科语料，目前大小为1.37G左右，里面内容以xml格式保存，所以我们后续还是需要做处理的。xml节点信息类似如下

<page>
<title></title>
<id></id>
<timestamp></timestamp>
<username></username>
<comment></comment>
<text xml:space="preserve"></text>
</page>

根据标签名容易知道各个节点内容表示的意义，text节点为文章内容，它里面其实还包含了很多其他的一些符号，也是需要过滤掉的。

抽取数据

对于上述下载的语料库，需要进一步抽取，可以选择 
* 自己写程序抽取。