model_path="demo.model.bin"
word="csdn"
import fasttext
model= fasttext.load_model(model_path)
python 使用fasttext 加载 已经训练好的模型,结果出现异常,代码如上
“Exception: fastText: Cannot load demo.model.bin due to C++ extension failed to allocate the memory”
主要原因是 c++ 版本训练的fasttext 的bin文件的问题,后面重新使用java 版本的fasttext.jar 训练后不存在上面模型加载的问题
基本命令如下
FTDATA='data/ft_data'
FTMODEL='data/ft_model'
#文本分类
function train(){
class_id=${1}
input=${FTDATA}/${class_id}.data
output=${FTMODEL}/${class_id}.model
java -cp jar/fasttext.jar fasttext.Main supervised -input ${input} -output ${output} -dim 50 -wordNgrams 2 -ws 5 -minCount 2 -ep
och 10 -thread 10
}
# 词向量训练
function train_unsupervised(){
class_id=${1}
input=${FTDATA}/${class_id}.data
output=${FTMODEL}/${class_id}.model
java -cp jar/fasttext.jar fasttext.Main skipgram -input ${input} -output ${output} -dim 50 -wordNgrams 2 -ws 5 -minCount 2 -epoc
h 10 -thread 10
}
jar 包地址:https://download.csdn.net/download/renyuanfang/10782326