wikisql 数据集解释_【wiki维基百科中文数据集】抽取wiki数据集——实操

参考

一、下载数据集

到【https://dumps.wikimedia.org/zhwiki/latest/】下载最新的中文wiki百科数据集【zhwiki-latest-pages-articles.xml.bz2】。

也就是【https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2】

二、提取原始语料库数据(新词汇：语料库(corpus —— corpora【复数】))

(一)节点信息

据说xml节点信息类似如下：(待验证)

(二)抽取数据

【抽取数据工具】：使用Wikipedia的extractor抽取工具。

# 克隆下载wikipedia的Extractor工具

git clone https://github.com/attardi/wikiextractor.git wikiextractor

# 进入提取工具目录。我的该目录和语料文件.xml.bz2在同一个目录下

cd wikiextractor

# 提示了权限问题 记得要在前面sudo一下

python setup.py install

# 注意这里.xml.bz2文件在.py文件的上一级 需要对.xml.bz2文件的位置改动 改为相对路径 即 ../xxxx.xml.bz2

python WikiExtractor.py-b 1024M -o ../extracted zhwiki-latest-pages-articles.xml.bz2

# 然后提取了好久 等着吧 等啊等

=====================

记录了一下时间，刷屏太快只能靠截图手算估计。(372w-365w)/min=7w条目/min。

不知道为何其他博主都是几十w条的数据量，我下载的这个数据包目前还在解压中已经过了426w条了额……

=====================

(三)原始语料文件内容——实例