fasttext 加载模型 内存分配失败

model_path="demo.model.bin"
word="csdn"
import fasttext
model= fasttext.load_model(model_path)

python 使用fasttext 加载 已经训练好的模型,结果出现异常,代码如上

“Exception: fastText: Cannot load demo.model.bin due to C++ extension failed to allocate the memory”

主要原因是 c++ 版本训练的fasttext 的bin文件的问题,后面重新使用java 版本的fasttext.jar 训练后不存在上面模型加载的问题

基本命令如下

FTDATA='data/ft_data'
FTMODEL='data/ft_model'
#文本分类
function train(){
 class_id=${1}
 input=${FTDATA}/${class_id}.data
 output=${FTMODEL}/${class_id}.model
 java -cp jar/fasttext.jar fasttext.Main supervised -input ${input} -output ${output} -dim 50 -wordNgrams 2 -ws 5 -minCount 2 -ep
och 10 -thread 10

}
# 词向量训练
function train_unsupervised(){
 class_id=${1}
 input=${FTDATA}/${class_id}.data
 output=${FTMODEL}/${class_id}.model
 java -cp jar/fasttext.jar fasttext.Main skipgram -input ${input} -output ${output} -dim 50 -wordNgrams 2 -ws 5 -minCount 2 -epoc
h 10 -thread 10
}

jar 包地址:https://download.csdn.net/download/renyuanfang/10782326

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值