python:并行化网格搜索中ImportError: [joblib] Attempting to do parallel computing without protecting...

在敲《Python机器学习及实践》上code的时候,在超参数搜索之并行搜索代码执行的时候,出现了错误。


下面是完整的代码:

# 从sklearn.datasets中导入20类新闻文本抓取器
from sklearn.datasets import fetch_20newsgroups
import numpy as np

# 使用新闻抓取器从互联网上下载所有数据,并且存储在变量news中
news = fetch_20newsgroups(subset='all')

from sklearn.model_selection import train_test_split

# 对前3000条新闻文本进行数据分割,25%文本用于未来测试
X_train, X_test, y_train, y_test = train_test_split(news.data[:3000], news.target[:3000], test_size=0.25,
                                                    random_state=33)

# 导入支持向量机(分类)模型
from sklearn.svm import SVC

# 导入RfidfVectorizer文本抽取器
from sklearn.feature_extraction.text import TfidfVectorizer
# 导入Pipeline
from sklearn.pipeline import Pipeline

# 使用Pipeline简化系统搭建流程,将文本抽取与分类器模型串联起来
clf = Pipeline([
    ('vect', TfidfVectorizer(stop_words='english', analyzer='word')),
    ('svc', SVC())
])

# 这里需要试验的2个超参数的个数分别是4、3,svc__gamma的参数共有10^-2,10^-1,,。这样我们一共有12种的超参数组合,
# 12种不同参数下的模型
parameters = {
    'svc__gamma': np.logspace(-2, 1, 4),
    'svc__C': np.logspace(-1, 1, 3)
}

# 从sklearn.grid_search中导入网格搜索模块GridSearchCV
from sklearn.model_selection import GridSearchCV

# 初始化配置并行网格搜索,n_jobs=-1代表使用该计算机全部的CPU
gs = GridSearchCV(clf, parameters, verbose=2, refit=True, cv=3, n_jobs=-1)

# 执行多线程并行网络搜索
gs.fit(X_train, y_train)
gs.best_params_, gs.best_score_

# 输出最佳模型在测试集上的准确率
print(gs.score(X_test, y_test))

控制台错误为:

ImportError: [joblib] Attempting to do parallel computing without protecting your import on a system that does not support forking. To use parallel-computing in a script, you must protect your main loop using "if __name__ == '__main__'". Please see the joblib documentation on Parallel for more information


错误原因:

书上使用的版本是2.7,而我使用的版本是3.4,在2.7是可以运行的,因此应该是版本的问题导致一些使用方法的改变。


解决方案:

在parameters之前加入:

if __name__ == '__main__':
即可,即完整源代码如下:

# 从sklearn.datasets中导入20类新闻文本抓取器
from sklearn.datasets import fetch_20newsgroups
import numpy as np

# 使用新闻抓取器从互联网上下载所有数据,并且存储在变量news中
news = fetch_20newsgroups(subset='all')

from sklearn.model_selection import train_test_split

# 对前3000条新闻文本进行数据分割,25%文本用于未来测试
X_train, X_test, y_train, y_test = train_test_split(news.data[:3000], news.target[:3000], test_size=0.25,
                                                    random_state=33)

# 导入支持向量机(分类)模型
from sklearn.svm import SVC

# 导入RfidfVectorizer文本抽取器
from sklearn.feature_extraction.text import TfidfVectorizer
# 导入Pipeline
from sklearn.pipeline import Pipeline

# 使用Pipeline简化系统搭建流程,将文本抽取与分类器模型串联起来
clf = Pipeline([
    ('vect', TfidfVectorizer(stop_words='english', analyzer='word')),
    ('svc', SVC())
])

if __name__ == '__main__':

        # 这里需要试验的2个超参数的个数分别是4、3,svc__gamma的参数共有10^-2,10^-1,,。这样我们一共有12种的超参数组合,
        # 12种不同参数下的模型
        parameters = {
            'svc__gamma': np.logspace(-2, 1, 4),
            'svc__C': np.logspace(-1, 1, 3)
        }

        # 从sklearn.grid_search中导入网格搜索模块GridSearchCV
        from sklearn.model_selection import GridSearchCV

        # 初始化配置并行网格搜索,n_jobs=-1代表使用该计算机全部的CPU
        gs = GridSearchCV(clf, parameters, verbose=2, refit=True, cv=3, n_jobs=-1)

        # 执行多线程并行网络搜索
        gs.fit(X_train, y_train)
        gs.best_params_, gs.best_score_

        # 输出最佳模型在测试集上的准确率
        print(gs.score(X_test, y_test))

加入上面那句代码之后,成功运行。


  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值