用opencc实现Wiki中文语料从繁体转换为简体

1,我遇见问题的描述
我想通过opencc来实现Wiki中文语料从繁体转换为简体
2,解决方法
2.1 软件以及数据准备
我到https://bintray.com/package/files/byvoid/opencc/OpenCC该网址下,下载对应的opencc,本人下载的版本是opencc-1.0.1-win64
Wiki中文语料下载地址:https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2
2.2 将.xml文件转换为.txt文件格式
首先你要将.xml文件转换为.txt文件格式。此处我是参考https://github.com/AimeeLee77/wiki_zh_word2vec这位大神来实现的。
此处要注意的:
1.你的.xml文件一定要和该文中的1_process.py程序在同一个project下
2.在启动cmd命令来实现.xml到.txt时,一定要先通过cd命令进入该project文件下再输入:python 1_process.py zhwiki-latest-pages-articles.xml.bz2 wiki.zh.txt,这里还要注意,当你的系统同时装有python2和python3时,你要先将自己的默认python版本进行确定,因为https://github.com/AimeeLee77/wiki_zh_word2vec这位大神是用python2来实现的。
2.3 opencc实现繁体到简体
经过2.2我们可以得到Wiki中文语料的.txt文件,现在我们就用opencc来实现繁体到简体的转换:
1.从网上下载的opencc文件为压缩文件,先解压
2.启动cmd窗口,进入你解压后的opencc-1.0.1-win64文件下,在该文件下敲入如下命令:
opencc -i 需要转换的文件路径 -o 转换后的文件路径 -c 配置文件路径
此处的配置文件路径是指你要启用opencc-1.0.1-win64文件下的那个命令
我们这里是要将繁体转换为简体,因此是t2s.json命令,以我的为例,如下:在这里插入图片描述
到这里你的简体文本就生成了。
这里在补充一下,其他的字体转换命令:
在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值