wiki中文文本语料下载并处理 ubuntu + python2.7

最新推荐文章于 2024-07-12 16:13:40 发布

残月飞雪

最新推荐文章于 2024-07-12 16:13:40 发布

阅读量3k

点赞数

分类专栏：自然语言处理文章标签： wiki中文语料 python opencc

本文链接：https://blog.csdn.net/majinlei121/article/details/83183603

版权

本文介绍了如何在Ubuntu系统中下载并处理wiki中文语料库，包括从wikimedia.org获取xml文件，转换为txt格式，以及使用opencc工具将繁体字转化为简体字。在处理过程中，遇到了‘段错误’问题，通过特定的安装命令解决了该问题，最终成功生成了1.8G的‘wiki.txt’文件。

摘要由CSDN通过智能技术生成

首先下载wiki中文语料（大约1.7G）
https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2
下载的文件名为“zhwiki-latest-pages-articles.xml.bz2”
下载之后需要对其进行提取txt文件，并且进行繁体字转化，以及去除一些帮助页面和重定向的页面，处理程序为：

# -*- coding: utf-8 -*-
#!/usr/bin/env python
import sys
reload(sys)
sys.setdefaultencoding('utf8')

from gensim.corpora.wikicorpus import extract_pages,filter_wiki
import bz2file
import re
import opencc
from tqdm import tqdm
import codecs
 
wiki = extract_pages(bz2file.open('./zhwiki-latest-pages-articles.xml.bz2'))
 
def wiki_replace(d):
    s = d[1]
    s = re.sub(':*{\|[\s\S]*?\|}', '', s)
    s = re.sub('<gallery>[\s\S]*?</gallery>', '', s)
    s = re.sub('(.){
  {([^{}\n]*?\|[^{}\n]*?)}}', '\\1[[\\2]]'