繁体与简体的转换,目前常用的工具包是opencc。
通过上网搜索与研究测试。目前有两种方式进行转换,一种是python调用opencc的形式,一种是linux内直接命令行操作。
通过两种方式的测评,python下运行速度极慢,linux下转换速度相当快。
一、linux安装与使用:https://segmentfault.com/a/1190000010122544
二、windows中python下安装使用:
下载安装:opencc-python-0.1.win32.exe,会默认安装到环境变量的python环境中;
修改文件:Python36\Lib\site-packages\opencc\__init__.py(该路径根据自己实际情况而定)
也就是将from version那一句注释掉,增加version的默认值设置。
#from version import __version__
__version__ = '0.1'
调用示例:
# -*- coding: utf8 -*-
import opencc
import codecs
def write_txt(file_name, line):
with codecs.open(file_name, 'a', encoding='utf-8') as f:
f.write(line)
if __name__ == '__main__':
# cc = opencc.OpenCC('t2s')
# print(cc.convert(u'Open Chinese Convert(OpenCC)「開放中文轉換」,是一個致力於中文簡繁轉換的項目,提供高質量詞庫和函數庫(libopencc)。'))
old_file = '../doc/as_testing_gold.utf8'
cc = opencc.OpenCC('t2s')
with codecs.open(old_file, mode='r', encoding='utf-8') as f:
with codecs.open('../doc/as_testing_gold_cn.txt', mode='w', encoding='utf-8') as out:
lines = f.readlines()
count = 0
for line in lines:
# print(cc.convert(line))
count += 1
if count % 1000 == 0:
print(count)
out.write(cc.convert(line))