pyspark 交叉验证的实现

最新推荐文章于 2024-09-14 22:07:12 发布

axiaye

最新推荐文章于 2024-09-14 22:07:12 发布

阅读量981

点赞数

分类专栏：统计分析学习 spark.ml 文章标签：大数据 python spark

本文链接：https://blog.csdn.net/u013904032/article/details/114665870

版权

本文介绍了如何在pyspark环境下运用交叉验证方法进行建模，通过此技术可以提高模型的泛化能力。

摘要由CSDN通过智能技术生成

pyspark 中的交叉验证

在pyspark中调用交叉验证的方式来建模。

from pyspark.ml.classification import LogisticRegression
from pyspark.ml.evaluation import BinaryClassificationEvaluator
from pyspark.ml.tuning import CrossValidator
from pysparl.ml.feature import VectorAssembler
from pyspark.ml.tuning import ParamGridBuilder


df = spark.read_csv('./******/table.csv',header=True,inferSchema = True)#数据集导入

df.show(6)

#数据集展示A
+---+-----+---------------+---------------+----+-----+------+------+------+----+----+----+----+-----+-----+-----+
|Age|  BMI|Fasting glucose|Fasting insulin| FSH|   LH|LH/FSH|   PRL|    E2|   T|   P|  TC|  TG|HDL-c|LDL-c|class|
+---+-----+---------------+---------------+----+-----+------+------+------+----+----+----+----+-----+-----+-----+
| 25|20.87|           4.69|          11.47|4.94| 6.76|  1.37|558.28|312.38|1.25|1.28|3.84|0.42| 2.46| 1.26|  1.0|
| 27|22.82|            4.4|