opencc对文档的繁体中文转换为简体
1.数据资源下载
维基百科的数据链接:https://dumps.wikimedia.org/zhwiki/
下载的类型:.xml.bz2后缀的文件,文件大小可自行选择。
例如:
2.opencc的使用
将下载好的.xml.bz2文件转换为.txt文件
运行pocess.py脚本文件,将下载好的.xml.bz2文件转换为.txt文件。
pocess.py代码如下:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# 修改后的代码如下:
import logging
import os.path
import sys
from gensim.corpora import WikiCorpus
if __name__ == '__main__':
program = os.path.basename(sys.argv[0])
logger = logging.getLogger(program)
logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')
logging.root.setLevel(level=logging.INFO)
logger.info("running %s" % ' '.join(sys.argv))
# check and process input arguments
if len(sys.argv) > 3:
print (globals()['__doc__'] % locals())
sys.exit(1)
inp, outp = sys.argv[1:3]
space = ' '
i = 0
output = open(outp, 'w',encoding='utf-8')
wiki = WikiCorpus(inp, lemmatize=False, dictionary={})
for text in wiki.get_texts():
s=space.join(text) + "\n"
output.write(s)
i = i + 1
if (i % 10000 == 0):
logger.info("Saved " + str(i) + " articles")
output.close()
logger.info("Finished Saved " + str(i) + " articles")
#python process.py zhwiki-latest-pages-articles.xml.bz2 wiki.zh.text
- 进入到pocess脚本文件的目录下:
- 运行pocess.py脚本文件,将文件zhwiki-latest-pages-articles.xml.bz2转换为zhwiki-articles.txt。一定要把zhwiki-latest-pages-articles.xml.bz2和pocess.py文件放在同一个目录下。
python process.py zhwiki-latest-pages-articles.xml.bz2 wiki.zh.text
这个是转换之前和转换之后的文件:
- 首先进入opencc的目录下:
- 将繁体(文件名为 wiki.zh.txt)转换为简体(文件名为zh.jian1.wiki.txt)
opencc -i wiki.zh.txt -o zh.jian1.wiki.txt -c t2s.json
需要转换的文件:
转换之后的文件:
转换成功,这样就可以进行下面的操作了。
使用代码对文件内容进行读取
import codecs
f = codecs.open('zh.jian1.wiki.txt','r',encoding="utf8")
line = f.readline()
print(line)
运行结果:
.