本文展示了如何使用GridSearchCV在文本分类任务中寻找最佳的TfidfVectorizer参数，结合LogisticRegression进行模型选择。通过训练、交叉验证和参数调优，找到最佳参数后，将参数单独保存并加载，以便后续使用。然而，加载参数时遇到了问题，因为TfidfVectorizer的参数设置方式不正确，导致错误。解决方案是确保在Pipeline中正确设置TfidfVectorizer的参数。
我喜欢运行以下工作流程：
选择用于文本向量化的模型
定义参数列表
在参数上应用带有GridSearchCV的管道，使用LogisticRegression()作为基线以找到最佳的模型参数
保存最佳模型(参数)
加载最佳模型参数，以便我们可以在此定义的模型上应用一系列其他分类器。
这是您可以复制的代码：
GridSearch：
%%time
import numpy as np
import pandas as pd
from sklearn.externals import joblib
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.model_selection import GridSearchCV
from sklearn.pipeline import Pipeline
from gensim.utils import simple_preprocess
np.random.seed(0)
data = pd.read_csv('https://pastebin.com/raw/dqKFZ12m')
X_train, X_test, y_train, y_test = train_test_split([simple_preprocess(doc) for doc in data.text],
最低0.47元/天 解锁文章
1279
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
