【保证能用！】将维基百科xml.bz2文件转为txt/text,并从繁体转为简体中文（提供详细代码）

从网上找了一圈，没有几个能用的，有代码的，也写的有问题，特此来提供一些能用的方法。

从维基百科下载bz2文件

维基百科bz2下载链接 https://dumps.wikimedia.org/zhwiki/

文件：zhwiki-20240401-pages-articles-multistream1.xml-p1p187712.bz2

将bz2文件转为txt/text格式

将以下代码复制好后，在终端运行:

# 第一个参数是你的bz2文件，第二个参数是你要转换输出的txt文件
python xml2txt.py zhwiki-20240401-pages-articles-multistream.xml.bz2 wiki_2.6GB.zh.txt

# 文件名xml2txt.py（随便起都行）
from __future__ import print_function
import logging
import os.path
import sys
from gensim.corpora import WikiCorpus

if __name__ == '__main__':
    program = os.path.basename(sys.argv[0])
    logger = logging.getLogger(program)

    logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')
    logging.root.setLevel(level=logging.INFO)
    logger.info("running %s" % ' '.join(sys.argv))

    if len(sys.argv) != 3:
        print("Using: python process_wiki.py zhwiki-xxx.xml.bz2 wiki.zh.text")
        sys.exit(1)
    inp, outp = sys.argv[1:3]
    space = b" "
    i = 0

    output = open(outp, 'w', encoding='utf-8')
    wiki = WikiCorpus(inp, dictionary={})
    for text in wiki.get_texts():
        output.write(' '.join(text) + '\n')  # type: ignore
        i += 1
        if i % 10000 == 0:
            logger.info(f"Saved {i} articles")

    output.close()
    logger.info(f"Finished Saved {i} articles")

终端日志输出

2024-07-12 15:41:30,206: INFO: running xml2txt.py ./wiki/zhwiki-20240401-pages-articles-multistream.xml.bz2 D:/DownLoad/wiki/wiki_2.6GB.zh.txt
D:\AnaConda\Lib\site-packages\gensim\utils.py:1333: UserWarning: detected Windows; aliasing chunkize to chunkize_serial
  warnings.warn("detected %s; aliasing chunkize to chunkize_serial" % entity)
Building prefix dict from the default dictionary ...
2024-07-12 15:41:35,785: DEBUG: Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\26364\AppData\Local\Temp\jieba.cache
2024-07-12 15:41:35,788: DEBUG: Loading model from cache C:\Users\26364\AppData\Local\Temp\jieba.cache
Loading model cost 0.962 seconds.
2024-07-12 15:41:36,748: DEBUG: Loading model cost 0.962 seconds.
Prefix dict has been built successfully.
2024-07-12 15:41:36,748: DEBUG: Prefix dict has been built successfully.
2024-07-12 15:43:58,926: INFO: Saved 10000 articles
2024-07-12 15:45:54,696: INFO: Saved 20000 articles
2024-07-12 15:47:37,341: INFO: Saved 30000 articles
...... # 这样代表正常工作

繁体2简体：

这里我们使用 opencc：https://github.com/BYVoid/OpenCC/wiki/Download
用法：opencc -i 需要转换的文件路径 -o 转换后的文件路径 -c 配置文件路径

下载好后，配置环境变量，将opencc的exe添加到环境变量。
完成后，打开终端输入：

opencc -i wiki_2.6GB.zh.txt -o test.txt -c D:\\Opencc\\build\\share\\opencc\\t2s.json
# 注意这个-c 后面的配置文件不用自己下载，就在下载opencc的share文件夹里面

到此转换结束。

结果展示：