用opencc实现Wiki中文语料从繁体转换为简体

1,我遇见问题的描述
我想通过opencc来实现我想通过opencc来实现@TOC
2,解决方法
2.1 软件以及数据准备
我到https://bintray.com/package/files/byvoid/opencc/OpenCC该网址下,下载对应的opencc,本人下载的版本是opencc-1.0.1-win64
Wiki中文语料下载地址:https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2
2.2 将.xml文件转换为.txt文件格式
首先你要将.xml文件转换为.txt文件格式。此处我是参考https://github.com/AimeeLee77/wiki_zh_word2vec这位大神来实现的。
此处要注意的:
1.你的.xml文件一定要和该文中的1_process.py程序在同一个project下
2.在启动cmd命令来实现.xml到.txt时,一定要先通过cd命令进入该project文件下再输入:python 1_process.py zhwiki-latest-pages-articles.xml.bz2 wiki.zh.txt,这里还要注意,当你的系统同时装有python2和python3时,你要先将自己的默认python版本进行确定,因为https://github.com/AimeeLee77/wiki_zh_word2vec这位大神是用python2来实现的。
2.3 opencc实现繁体到简体
经过2.2我们可以得到Wiki中文语料的.txt文件,现在我们就用opencc来实现繁体到简体的转换:
1.从网上下载的opencc文件为压缩文件,先解压
2.启动cmd窗口,进入你解压后的opencc-1.0.1-win64文件下,在该文件下敲入如下命令:
opencc -i 需要转换的文件路径 -o 转换后的文件路径 -c 配置文件路径
此处的配置文件路径是指你要启用opencc-1.0.1-win64文件下的那个命令
我们这里是要将繁体转换为简体,因此是t2s.json命令,以我的为例,如下:在这里插入图片描述
到这里你的简体文本就生成了。
这里在补充一下,其他的字体转换命令:
在这里插入图片描述

发布了1 篇原创文章 · 获赞 0 · 访问量 31
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 深蓝海洋 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览