java tfidf保存模型,tfidfvectorizer预测保存的分类器

我使用TfIdfVectorizer和MultinomialNB训练了我的模型，并将其保存到pickle文件中 .

既然我正在尝试使用其他文件中的分类器来预测看不见的数据，我不能这样做，因为它告诉我分类器的特征数量与当前语料库的特征数量不同 .

这是我试图预测的代码 . 函数do_vectorize与训练中使用的完全相同 .

def do_vectorize(data, stop_words=[], tokenizer_fn=tokenize):

vectorizer = TfidfVectorizer(stop_words=stop_words, tokenizer=tokenizer_fn)

X = vectorizer.fit_transform(data)

return X, vectorizer

# Vectorizing the unseen documents

matrix, vectorizer = do_vectorize(corpus, stop_words=stop_words)

# Predicting on the trained model

clf = pickle.load(open('../data/classifier_0.5_function.pkl', 'rb'))

predictions = clf.predict(matrix)

但是我收到的功能数量不同的错误

ValueError: Expected input with 65264 features, got 472546 instead

这意味着我还必须从训练中保存我的词汇才能进行测试？如果培训中没有条款，会发生什么？

我尝试使用scikit-learn的管道和相同的矢量化器和分类器，以及两者的相同参数 . 但是，它从1小时变为超过6小时太慢，所以我更喜欢手动操作 .