机器学习pyspark使用决策树算法生成训练模型

最新推荐文章于 2024-08-18 09:56:22 发布

古月剑法

最新推荐文章于 2024-08-18 09:56:22 发布

阅读量1.5k

点赞数

分类专栏： pyspark python 文章标签： python spark 机器学习

本文链接：https://blog.csdn.net/qq_16734411/article/details/86493621

版权

该博客介绍如何使用PySpark的决策树分类器进行机器学习模型训练。通过加载鸢尾花数据集，创建DataFrame，应用预处理，设置模型参数并训练决策树模型，最终评估模型性能并保存模型。

摘要由CSDN通过智能技术生成

# encoding:utf-8
import os
os.environ['HADOOP_HOME'] = 'D:\\system\\hadoop-common-2.6.0-bin-master'
from pyspark.sql import SparkSession
import pandas as pd
spark = SparkSession.builder \
             .appName("envTest")\
             .getOrCreate()
sc = spark.sparkContext

data = pd.read_csv("E:\\data\\t_iris.csv",header=None)
print(data)
print(data[0:2])  # 取前两行数据
# 创建dataFrame
data000002 = spark.createDataFrame(data, ["sepal_length","sepal_width","petal_length","petal_width", "iris_class"])
print(data000002.dtypes)
print(data000002.take(2))
print(data000002.show(2))

from pyspark.ml.classification import DecisionTreeClassifier
from pyspark.ml import Pipeline
from Distributed.common import getEvaluationDF
from Distributed.common import preProcessing
def DT(label_data, label_col, features_col, test_data_pro=0.3, maxdepth=5, impurity="gini"):
    label_data, prePipel