python中的词汇问题_python – 加载pickled分类器数据:词汇不适合错误

本文档描述了在Python中遇到的一个问题,即在不同脚本中加载用pickle保存的线性SVC分类器时,由于词汇不匹配导致`ValueError:词汇不适合或空!`。问题出现在尝试使用StemmedTfidfVectorizer转换测试字符串并进行预测时,分类器的词汇未被适配。错误源自sklearn的`NotFittedError`,提示StemmedTfidfVectorizer的词汇未被适配。
摘要由CSDN通过智能技术生成

我在这里阅读了所有相关问题,但找不到可行的解决方案:

我的分类器创建:

class StemmedTfidfVectorizer(TfidfVectorizer):

def build_analyzer(self):

analyzer = super(TfidfVectorizer, self).build_analyzer()

return lambda doc: english_stemmer.stemWords(analyzer(doc))

tf = StemmedTfidfVectorizer(analyzer='word', ngram_range=(1,2), min_df = 0, max_features=200000, stop_words = 'english')

def create_tfidf(f):

docs = []

targets = []

with open(f, "r") as sentences_file:

reader = csv.reader(sentences_file, delimiter=';')

reader.next()

for row in reader:

docs.append(row[1])

targets.append(row[0])

tfidf_matrix = tf.fit_transform(docs)

print tfidf_matrix.shape

# print tf.get_feature_names()

return tfidf_matrix, targets

X,y = cre

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值