opencc对文档的繁体中文转换为简体

opencc对文档的繁体中文转换为简体

1.数据资源下载

维基百科的数据链接：https://dumps.wikimedia.org/zhwiki/
下载的类型：.xml.bz2后缀的文件，文件大小可自行选择。
例如：

2.opencc的使用

将下载好的.xml.bz2文件转换为.txt文件

运行pocess.py脚本文件，将下载好的.xml.bz2文件转换为.txt文件。
pocess.py代码如下：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# 修改后的代码如下：
import logging
import os.path
import sys
from gensim.corpora import WikiCorpus
if __name__ == '__main__':
    
    program = os.path.basename(sys.argv[0])
    logger = logging.getLogger(program)
    logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')
    logging.root.setLevel(level=logging.INFO)
    logger.info("running %s" % ' '.join(sys.argv))
    # check and process input arguments
    if len(sys.argv) > 3:
        print (globals()['__doc__'] % locals())
        sys.exit(1)
    inp, outp = sys.argv[1:3]
    space = ' '
    i = 0
    output = open(outp, 'w',encoding='utf-8')
    wiki = WikiCorpus(inp, lemmatize=False, dictionary={})
    for text in wiki.get_texts():
        s=space.join(text) + "\n"
        output.write(s)
        i = i + 1
        if (i % 10000 == 0):
            logger.info("Saved " + str(i) + " articles")
    output.close()
    logger.info("Finished Saved " + str(i) + " articles")
#python process.py zhwiki-latest-pages-articles.xml.bz2 wiki.zh.text

1. 进入到pocess脚本文件的目录下：
   
2. 运行pocess.py脚本文件，将文件zhwiki-latest-pages-articles.xml.bz2转换为zhwiki-articles.txt。一定要把zhwiki-latest-pages-articles.xml.bz2和pocess.py文件放在同一个目录下。
   python process.py zhwiki-latest-pages-articles.xml.bz2 wiki.zh.text
   
   这个是转换之前和转换之后的文件：
   
3. 首先进入opencc的目录下：
   
4. 将繁体（文件名为 wiki.zh.txt）转换为简体（文件名为zh.jian1.wiki.txt）
   opencc -i wiki.zh.txt -o zh.jian1.wiki.txt -c t2s.json
   
   需要转换的文件：
   
   转换之后的文件：
   
   转换成功，这样就可以进行下面的操作了。

使用代码对文件内容进行读取

import codecs

f = codecs.open('zh.jian1.wiki.txt','r',encoding="utf8")

line = f.readline()
print(line)

运行结果：

.