中文wiki语料word2vec训练模型(win7+Anaconda3+Python3.5)

本文介绍了在Windows7上使用Anaconda3和Python3.5进行中文wiki语料的处理,包括下载wiki语料,通过opencc进行简繁体转换,将xml格式转为txt,然后使用jieba进行分词并去除停用词,以便后续的模型训练。
摘要由CSDN通过智能技术生成

1.环境、操作平台

  Windows7 64位,Anaconda3,Python3.5;

2.下载wiki中文语料(由于语料较大建议使用迅雷下载)

  下载地址为:http://download.wikipedia.com/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2

3. 安装opencc用于中文的简繁替换

  方法一: 安装exe的版本,到https://bintray.com/package/files/byvoid/opencc/OpenCC 中下载,选择适合自己的32位或64位软件,本人下载opencc-1.0.1-win64.7z,直接将其解压到自定义文件夹用于繁体转简体的使用,本人文件夹为:E:\model\wiki\opencc-1.0.1-win64(建议使用此方法,转换速度快,且安装不会出现问题)

  方法二:安装Python版,使用命令   pip install opencc-python安装(不建议使用,安装时会出现各种问题)。

4.将下载的语料为文本txt格式(步骤二,方法一)

  Anaconda3下用Python代码解决

from gensim.corpora import WikiCorpus

'''
读取中文wiki语料库,并解析提取xml中的内容
'''
def dataprocess():
    space=" "
    i=0
    output=open('E:\model\wiki\zhwiki-articles
  • 2
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值