【NLP】自建维基百科语料库

下载维基百科原始语料

• wikidump 开源语料库（https://dumps.wikimedia.org/zhwiki/）
• 示例语料：zhwiki-20211220-pages-articles-multistream.xml.bz2 2.3 GB

处理.bz2为文本文件

• 命令行 改预处理文件（1_process.py）路径下：执行 python 1_process.py zhwiki-20211220-pages-articles-multistream.xml.bz2 wiki.zh.txt
• 含简繁转换

import logging
import os.path
import sys
from gensim.corpora import WikiCorpus
from opencc import OpenCC
tt = OpenCC('t2s')  # 繁转简

if __name__ == '__main__':
    program = os.path.basename(sys.argv[0])  # 得到文件名
    logger = logging.getLogger(program)

    logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')
    logging.root.setLevel(level=logging.INFO)
    logger.info("running %s" % ' '.join(sys.argv))

    if len(sys.argv) < 3:
        print(globals()['__doc__'], locals())
        sys.exit(1)

    inp, outp = sys.argv[1:3]
    space = " "
    i = 0

    output = open("out.txt", "w", encoding='utf-8')
    wiki = WikiCorpus(inp, dictionary=[])  # gensim里的维基百科处理类WikiCorpus
    for text in wiki.get_texts():  # 通过get_texts将维基里的每篇文章转换位1行text文本，并且去掉了标点符号等内容
        output.write(tt.convert(space.join(text)) + "\n") #繁体字→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→简体字
        i = i + 1
        if (i % 10000 == 0):
            logger.info("Saved " + str(i) + " articles.")

    output.close()
    logger.info("Finished Saved " + str(i) + " articles.")

运行过程

处理结果

重要参考

(11条消息) 自然语言处理(一) :Windows环境下 维基百科语料获取及解压_PapperTown的博客-CSDN博客https://blog.csdn.net/weixin_39563232/article/details/81128426?spm=1001.2014.3001.5502维基百科简体中文语料的提取 - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/39960476zhwiki dump progress on 20211220 (wikimedia.org)https://dumps.wikimedia.org/zhwiki/20211220/