《Python机器学习及实践：从零开始通往Kaggle竞赛之路》第3章 进阶篇 学习笔记（六）3.1.4.1网格搜索总结

目录

3.1.4.1网格搜索

0、引言

1、网格搜索

2、编程实践

---

3.1.4.1网格搜索

0、引言

前面所提到的模型配置，一般统称为模型的超参数（Hyperparameters），如K近邻算法中的K值、支持向量机中不同的核函数（Kernel）等。多数情况下，超参数的选择是无限的。因此在有限的时间内，除了可以验证人工预设几种超参数组合以外，也可以通过启发式的搜索方法对超参数组合进行调优。这种启发式的超参数搜索方法为网格搜索。同时由于超参数的的验证过程之间彼此独立，因此为并行计算提供了可能，并行搜索将展示如何在不损失搜索精度的前提下，充分利用多核处理器成倍节约计算时间。

1、网格搜索

由于超参数的空间是无尽的，因此超参数的组合配置只能是“更优”解，没有最优解。通常情况下，依靠网格搜索（GridSearch）对多种超参数组合的空间进行暴力搜索。每一套超参数组合被代入到学习函数中作新的模型，并且为了比较新模型之间的性能，每个模型都会采用交叉验证的方法在多组相同的训练和开发数据集下进行评估。

备注：如果人工处理所有可能的超参数组合，通常的办法便是根据超参数的维度，列成相应的网格。对于每个格子中具体的超参数组合，通过交叉验证的方式进行模型性能的评估。最后通过验证性能的比较，遴选出最佳的超参数数据组合。

2、编程实践

# 代码66：使用单线程对文本分类的朴素贝叶斯模型的超参数组合执行网格搜索
# 从sklearn.datasets中导入20类新闻文本抓取器。
from sklearn.datasets import fetch_20newsgroups
# 导入numpy，并且重命名为np。
import numpy as np

# 使用新闻抓取器从互联网上下载所有数据，并且存储在变量news中。
news = fetch_20newsgroups(subset='all')

# 从sklearn.model_selection中导入train_test_split用来分割数据。
from sklearn.model_selection import train_test_split

# 对前3000条新闻文本进行数据分割，25%文本用于未来测试。
X_train, X_test, y_train, y_test = train_test_split(news.data[:3000], news.target[:3000], test_size=0.25, random_state=33)

# 导入支持向量机（分类）模型。
from sklearn.svm import SVC
# 导入TfidfVectorizer文本抽取器。
from sklearn.feature_extraction.text import TfidfVectorizer
# 导入Pipeline。
from sklearn.pipeline import Pipeline

# 使用Pipeline简化系统搭建流程，将文本抽取与分类器模型串联起来。
clf = Pipeline([('vect', TfidfVectorizer(stop_words='english', a