19.【进阶】超参数搜索--网格搜索&并行搜索

最新推荐文章于 2024-07-04 15:38:21 发布

jho9o5

最新推荐文章于 2024-07-04 15:38:21 发布

阅读量3.1k

点赞数

分类专栏：机器学习实战文章标签：机器学习超参数搜索网格搜索并行计算

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/jh1137921986/article/details/79827945

版权

本文探讨了机器学习中超参数的重要性，并详细介绍了网格搜索这一调优技术。通过列举K近邻算法和支持向量机的超参数示例，说明了如何构建超参数组合表格进行交叉验证。尽管网格搜索过程耗时，但可通过并行计算显著减少运算时间，利用多核处理器或分布式系统加速搜索最佳超参数组合。

摘要由CSDN通过智能技术生成

前面所提到的模型配置，我们一般统称为模型的超参数，如K近邻算法中的k值、支持向量机中不同的核函数等，多数情况下，超参数等选择是无限的，除了人工预设几种超参数的组合以外，还可以通过启发式的搜索算法对超参数组合进行调优。
这种启发式的搜索算法对超参数搜索算法，被称之为网格搜索。(如果人工处理所有可能的超参数组合，通常的办法是，根据超参数的维度，列成相应的表格，比如说k的取值有[2，3，4，5，6，7，8]，另一个系数比如λ取值有[0.01,0.03,0.1,0.3]等，这样就可以列出一个二维表格，组合出7*4种可能性的超参数组合，再对每一个格子中具体的超参数组合，通过交叉验证的方式进行模型性能的评估，然后通过验证性能的比较，最终筛选出最佳的超参数数据组合)
网格搜索采用交叉验证的方法，来寻找更好的超参数组合的过程非常耗时，由于各个新模型在执行交叉验证的过程中是相互独立的，那么我们可以充分利用多核处理器甚至是分布式的计算资源来从事并行搜索，从而成倍的节省运算时间。

#-*- coding:utf-8 -*-

#1.使用单线程对文本分类的朴素贝叶斯模型的超参数组合执行网格搜索

from sklearn.datasets import fetch_20newsgroups
import numpy as np 
news = fetch_2

关注

专栏目录