wikiextractor 提取维基百科语料报错的解决办法

Mr.姚先森

已于 2022-08-20 21:20:31 修改

阅读量1.3k

点赞数 2

分类专栏：机器学习文章标签： python 开发语言

于 2022-08-20 21:19:04 首次发布

本文链接：https://blog.csdn.net/DFSETHTDFD/article/details/126444492

版权

我提取维基百科语料的时候，刚开始使用的wikiextractor ，后来发现总是报错，于是就没有用了，由于很多人都在问我是怎么提取的，现在把代码公布下

代码不是我写的，是从一个网站找到的，由于太久了，忘记了网站的地址，就没办法贴原网址了，如果作者看到了请私信我原网址

作者的邮箱是：panyangnlp@gmail.com

使用方法：命令行输入命令:

python data_pre_process.py zhwiki-latest-pages-articles.xml.bz2(维基百科语料库) wiki.zh.text(保存的文件)

源码：

# -*- coding: utf-8 -*-
# Author: Pan Yang (panyangnlp@gmail.com)
# Copyrigh 2017
from __future__ import print_function

import logging
import os.path
import six
import sys

from IPython.core.page import page
from gensim.corpora import WikiCorpus

page.encoding = 'utf-8'

# 将维基百科xml语料库封装成txt格式
# python data_pre_process.py zhwiki-latest-pages-articles.xml.bz2 wiki.zh.text
if __name__ == '__main__':
    program = os.path.basename(sys.argv[0])
    logge