网格搜索法
这篇文章主要是接着上一篇文章来继续学习,如果感兴趣,请点击查看
网格搜索法,是根据给定的评估指标,循环遍历定义的参数值列表,估计各个单独的模型,从而选择一个最优的模型。
调整参数需要用到tuning这个包
# 导包
import pyspark.ml.tuning as tune
# 指定模型和参数列表
logistic = cl.LogisticRegression(labelCol='INFANT_ALIVE_AT_REPORT')
grid = tune.ParamGridBuilder().addGrid(logistic.maxIter, [2, 10, 50]).addGrid(logistic.regParam, [0.01, 0.05, 0.3]).build()
ParamGridBuilder对象使用addGrid()方法将参数添加到网格中:参数一为要优化的模型的参数对象,参数二为要循环的列表的值。最后调用对象的build()方法,来构建网络。
接着创建模型评估的评估器
evaluator = ev.BinaryClassificationEvaluator(rawPredictionCol='probability',</