120G+训练好的word2vec模型(中文词向量)

从网上了解到,很多人缺少大语料训练的word2vec模型,在此分享下使用120G+语料训练好的word2vec模型。
训练语料:
  • 百度百科800w+条,20G+
  • 搜狐新闻400w+条,12G+(数据下载链接见其它博文)
  • 小说:90G左右

模型参数:
  • window=5
  • min_count=5
  • size=64
  • ps:其它参数见gensim库,执行代码为:Word2Vec(sentence, window=5, min_count=5,size=64, workers=4)
其它相关:
  1. 分词词典使用了130w+词典。分词代码:jieba.lcut(sentence),默认使用了HMM识别新词;
  2. 剔除了所有非中文字符;
  3. 最终得到的词典大小为6115353;
  4. 目前只跑了64维的结果,后期更新128维词向量;
  5. 模型格式有两种bin和model;
下载链接:链接: https://pan.baidu.com/s/1eUgu8Cy 密码: 4is8


本文转自 https://weibo.com/p/23041816d74e01f0102x77v#_loginLayer_1515659232344
  • 6
    点赞
  • 49
    收藏
    觉得还不错? 一键收藏
  • 13
    评论
评论 13
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值