文章目录
一、PySpark分类模型
PySpark提供了多种分类模型,这些模型可以用于解决不同场景下的分类问题。以下是一些常见的PySpark分类模型:
(1)逻辑回归(Logistic Regression):
- 逻辑回归是一种广泛用于分类问题的线性模型,特别适用于二分类问题。
- 在PySpark中,逻辑回归可以通过pyspark.ml.classification.LogisticRegression类来实现。
- 它不仅可以用于二分类,通过设置family参数为"multinomial",还可以用于多分类问题。
(2)决策树(Decision Tree):
- 决策树是一种强大的非线性分类技术,可以表达复杂的非线性模式和特征相互关系。
- 在PySpark中,决策树分类器可以通过pyspark.ml.classification.DecisionTreeClassifier类来实现。
- 决策树模型易于理解和解释,并且可以处理类别或数值特征,不需要输入数据归一化或标准化。
(3)随机森林(Random Forest):
- 随机森林是一种集成学习方法,通过构建多个决策树并将它们的预测结果进行组合来提高分类性能。
- 在PySpark中,随机森林分类器可以通过pyspark.ml.classification.RandomForestClassifier类来实现。
- 随机森林通常比单个决策树具有更好的泛化能力,因为它减少了过拟合的风险。
(4)梯度提升树(Gradient-Boosted Trees, GBTs):
- 梯度提升树是另一种集成学习方法,它通过迭代地构建决策树来优化损失函数,从而改进模型的分类性能。
- 在PySpark中,梯度提升树分类器可以通过pyspark.ml.classification.GBTClassifier类来实现。
- GBTs在许多分类任务上表现出色,特别是当数据集具有复杂的非线性关系时。
(5)朴素贝叶斯(Naive Bayes):
- 朴素贝叶斯是一种基于贝叶斯定理和特征条件独立假设的分类方法。
- 在PySpark中,朴素贝叶斯分类器可以通过pyspark.ml.classification.NaiveBayes类来实现。
- 尽管它假设特征之间条件独立,但在许多实际应用中,朴素贝叶斯分类器仍然表现出良好的性能,并且具有高效和并行的优点。
(6)多层感知器(Multilayer Perceptron, MLP):
- 多层感知器是一种前馈人工神经网络模型,可以用于分类和回归任务。
- 在PySpark中,多层感知器分类器可以通过pyspark.ml.classification.MultilayerPerceptronClassifier类来实现。
- MLP能够捕捉数据中的复杂非线性关系,并且通过训练可以学习到有效的特征表示。
(7)线性支持向量机(Linear Support Vector Machine, Linear SVM):
- 线性支持向量机是一种基于间隔最大化的分类方法,它试图找到一个超平面来将不同类别的数据分开。
- 在PySpark中,虽然MLlib库中没有直接提供Linear SVM的类,但可以通过设置逻辑回归的某些参数(如损失函数为hinge loss)来近似实现线性SVM的功能。
需要注意的是,以上分类模型的选择应根据具体问题的特点、数据集的大小和分布以及计算资源等因素进行综合考虑。在实际应用中,可能需要通过交叉验证等方法来评估不同模型的性能,并选择最适合当前问题的模型。
二、PySpark集群介绍
Spark集群是一种分布式计算框架,它基于内存计算,提供了高效的数据抽象和并行计算能力,能够处理大规模数据集的批处理和实时处理任务。Spark采用内存存储中间计算结果,可减少迭代运算的磁盘I/O,并通过并行计算有向无环图的优化,使其运行速度比MapReduce快100倍;Spark可以使用Hadoop YARN和Apache Mesos作为其资源管理和调度器,可以从多种数据源读取数据,如HDFS、HBase、MySQL等。
PySpark则是Spark的Python API,允许Python开发者利用Spark的强大功能进行数据处理和分析。本案例采用PySpark大数据集群做数据分析与挖掘,使用HDFS作为文件存储系统。PySpark由多个组件构成,包括Spark SQL、Spark Streaming、MLlib(机器学习库)和GraphX(图计算库)等。
本案例部署了3个节点的完全分布式集群,具体的开发环境如下:
节点/组件/安装包 | 版本 | 备注 |
---|---|---|
名称节点 | 192.168.126.10 | master |
数据节点 | 192.168.126.10 | slave1 |
数据节点 | 192.168.126.10 | slave2 |
JDK | jdk-8u281 | Java运行环境,Spark的运行需要JDK的支持 |
Hadoop | hadoop-3.1.4 | 提供HDFS、Hive运行环境支持。HDFS系统访问端口为:hdfs://192.168.126.10:9000 |
pyspark | spark-3.4.3-bin-hadoop3.tgz | Spark集群的master节点的地址和端口为:spark://192.168.126.10:7077 |
MySQL | 5.7.18 | 存储数据分析结果,端口:3306,用户名:root,密码:123456 |
python | Python-3.9.0.tgz | 3.9.0版本的Python |
MySQL Connector | mysql-connector-java-5.1.32-bin.jar | Spark 连接MySQL的驱动 |
IntelliJ IDEA | Ultimate 2020.3 | 编程工具IDEA |
三、分类模型应用案例:泰坦尼克号乘客幸存预测
本案例包括两个数据集,一个是训练集:titanic.csv,另外一个是待预测数据集:titanic_pred.csv。训练集:titanic.csv各个字段含义如下:
- PassengerId:整型(integer),代表乘客的ID,递增变量,一般来说对预测无帮助。
- Pclass:整型(integer),船票仓位等级,代表乘客的社会经济状态,1代表Upper, 2代表Middle, 3代表Lower
- Name:字符型(string),代表乘客姓名,一般来说对预测无帮助。
- Sex:字符型(string),代表乘客性别,female代表女性,male代表男性。
- Age:数值类型(double),代表乘客年龄,其中有null,即有缺失值。
- Sibsp:整型(integer),代表兄弟姐妹及配偶的个数,其中Sib代表Sibling,即兄弟姐妹;Sp代表Spouse,即配偶。
- Parch:整型(integer),代表父母或子女的个数,其中Par代表Parent,即父母;Ch代表Child,即子女。
- Ticket:字符型(string),代表乘客的船票号,一般来说对预测无帮助。
- Fare:数值类型(double),代表乘客的船票价格。
- Cabin:字符型(string),代表乘客所在的舱位,有缺失值。
- Embarked:字符型(string),代表乘客登船口岸。
- Survived:整型(integer),代表 该乘客是否幸存,其中1表示幸存,0表示遇难。该字段为数据集的标签,即目标值。
训练集:titanic.csv的部分数据如下图所示。
待预测数据集:titanic_pred.csv比训练集少了一个字段Survived,需要分类模型预测。
1.数据导入
两个数据集存放在HDFS的/data/目录下,配置Spark应用程序,导入训练集titanic.csv。
from pyspark import SparkConf
from pyspark.ml.feature import StringIndexer, VectorAssembler
from pyspark.sql import SparkSession, Row
from pyspark.sql.functions import *
from pyspark.ml.classification import *
from pyspark.ml.evaluation import *
from pyspark.ml import Pipeline
import matplotlib
# 设置一个支持GUI的后端,用于在IDEA绘图
matplotlib.use('TkAgg') # 或者 'Qt5Agg', 'GTK3Agg' 等,用于在IDEA绘图
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
# -------------------配置Spark应用程序-------------
conf = SparkConf().setAppName("分类模型:泰坦尼克号幸存者分析").setMaster('spark://192.168.126.10:7077')
sc = SparkContext.getOrCreate(conf)
spark = SparkSession(sc)
# -----------------1.数据获取-------------------
filename = "titanic.csv"
titanic = spark.read.csv('hdfs://192.168.126.10:9000/data/' + filename, header=True,
inferSchema=True) # 训练集包含标题行,inferSchema=True自动推断数据类型
titanic.show(5)
titanic.describe().show() # 查看数据集的基本数据信息
titanic.printSchema() # 输出数据集的结构
print(f"训练数据集总的记录数:{titanic.count()}, 列总数:{len(titanic.columns)}")
数据集一共有891条记录,12个字段。通过titanic.describe().show()查看数据集的基本数据信息,发现Age只有714条记录,Cabin只有204条记录,即这列的缺失值比较多,尤其是Cabin缺失值非常多,应该删除该列。
2.数据分析
数据分析主要包括集中趋势分析、离中趋势分析和相关分析三大部分。
(1)集中趋势分析
集中趋势分析主要关注数据的中心或平均位置,通过统计指标来表示数据的集中趋势。常用的统计指标包括:
- 平均数(Mean):所有数值之和除以数值的数量,是反映数据集中心趋势的常用指标。但需注意,平均数对异常值较为敏感。
- 中数(Median):将数据从小到大排列后,位于中间的数。如果数据量是偶数,则中数是中间两个数的平均值。中数对异常值不敏感,能更好地反映数据的中心位置。
众数(Mode):数据集中出现次数最多的数。一个数据集可能有多个众数或没有众数(如所有数据都不相同)。 - 四分位数(Quartiles):将数据分成四等份的数值点,每部分包含四分之一的数据。四分位数有助于了解数据的分布情况。
(2)离中趋势分析
离中趋势分析主要关注数据的离散程度或波动大小,通过统计指标来研究数据的离中趋势。常用的统计指标包括:
- 全距(Range):数据集中的最大值与最小值之差,反映了数据的最大波动范围。
- 四分差(Interquartile Range, IQR):第三四分位数与第一四分位数之差,用于描述中间50%数据的波动范围。
- 平均差(Mean Deviation):各数值与平均数的差的绝对值的平均数,反映了数值与平均数的平均偏离程度。
- 方差(Variance):各数值与平均数之差的平方的平均数,用于度量数据集的波动程度。方差越大,表示数据越分散。
- 标准差(Standard Deviation):方差的平方根,也是度量数据离散程度的常用指标。标准差越小,说明数据越稳定。
- 变异系数(Coefficient of Variation, CV):标准差除以平均数,用于比较不同数据集之间的离散程度。
(3)相关分析
相关分析探讨数据之间是否具有统计学上的关联性。这种关系既包括两个数据之间的单一相关关系,也包括多个数据之间的多重相关关系。常用的统计指标和工具包括:
- 相关系数(Correlation Coefficient):用于量化两个变量之间的线性相关程度。常用的相- - 关系数有皮尔逊相关系数(Pearson’s r)、斯皮尔曼等级相关系数(Spearman’s rho)和肯德尔等级相关系数(Kendall’s tau)等。
- 散点图(Scatter Plot):一种图形化表示两个变量之间关系的工具,可以直观地看出变量之间的相关性。
- 回归分析(Regression Analysis):在相关分析的基础上,进一步探讨一个或多个自变量(X)与一个因变量(Y)之间的数量关系。通过回归方程,可以预测因变量的值。
通过集中趋势分析、离中趋势分析和相关分析,可以全面了解数据的分布特征、离散程度和变量之间的关系,为后续的数据分析和决策提供支持。
本案例主要目的是演示分类模型的应用,并没有做全部的集中趋势分析、离中趋势分析和相关分析,只是做了一些简单的数据分析。
上一节已经查看了数据集的基本数据信息,本节先抽取部分字符串类型列数据,生成描述性统计信息,再抽取部分数值类型列数据,生成描述性统计信息。describe()方法通常用于数值型数据的描述性统计。
然后通过统计汇总,分析是否幸存(Survived)与性别(Sex)和社会经济状态(Pclass)、家庭成员数(Parch、SibSp)等因素的关系。
# ---------------2.数据分析-----------------------------
# 计算基本的统计描述信息
print("\n-------2.数据分析---------\n")
titanic.describe('Age', 'Pclass', 'SibSp', 'Parch').show() # 抽取部分字符串型列数据,生成描述性统计信息
titanic.describe('Sex', 'Cabin', 'Embarked', 'Fare', 'Survived').show() # 抽取部分数值型列数据,生成描述性统计信息
# 对Sex和Survived两个字段分组 求乘客数,并将结果列count(PassengerId)重命名为count,最后按照Sex排序。
sex_counts = titanic.groupBy('Sex', 'Survived') \
.agg({'PassengerId': 'count'}) \
.withColumnRenamed("count(PassengerId)", "count") \
.orderBy('Sex', 'Survived') \
.toPandas() # 转换为pandas的DataFrame,方便用pandas的matplotlib可视化
print("\n对性别Sex和Survived两个字段分组 求乘客数\n", sex_counts)
male_vs = sex_counts[sex_counts['Survived'] == 1]['count'] # 提取 幸存者 的男女人数
print("\n幸存者男女人数:\n", male_vs)
female_vs = sex_counts[sex_counts['Survived'] == 0]['count'] # 提取 遇难者 的男女人数
print("\n遇难者男女人数:\n", female_vs)
# ---------------绘图------
plt.bar(x=['female', 'male'], height=male_vs, width=0.35, label='幸存者')
plt.bar(x=['female', 'male'], height=female_vs, width=0.35, bottom=male_vs, label='遇难者')
plt.xlabel('性别')
plt.legend()
plt.show()
# 对船票仓位等级Pclass和Survived两个字段分组求乘客数
pclass_counts = titanic.groupBy('Pclass', 'Survived') \
.agg({'PassengerId': 'count'}) \
.withColumnRenamed("count(PassengerId)", "count") \
.orderBy('Pclass', 'Survived') \
.toPandas()
print("\n对船票仓位等级Pclass和Survived两个字段分组求乘客数:\n", pclass_counts)
# 对父母/孩子Parch和Survived两个字段分组求乘客数
parch_counts = titanic.groupBy('Parch', 'Survived') \
.agg(count("PassengerId").alias("count")) \
.orderBy('Parch', 'Survived') \
.toPandas()
print("\n对父母/孩子个数Parch和Survived两个字段分组求乘客数:\n", parch_counts)
# 对兄弟姐妹/配偶数SibSp和幸存Survived两个字段分组求乘客数
sibsp_counts = titanic.groupBy('SibSp', 'Survived') \
.agg(count("PassengerId").alias("count")) \
.orderBy('SibSp', 'Survived') \
.toPandas()
print("\n对兄弟姐妹/配偶数SibSp和Survived两个字段分组求乘客数:\n", sibsp_counts)
性别和是否幸存的关系如下:
有上图可知,女性(female)的幸存几率比男性高。可以再绘制Survived和社会经济状态(Pclass)、家庭成员数(Parch、SibSp)等的关系分析图。
3.数据清洗与处理
由于舱位Cabin列的缺失值很多,已经失去了数据分析的价值,因此删除该列。年龄Age有177个缺失值,用年龄的平均值填充,登船口岸Embarked有2个缺失值,用众数港口s填充。
船票号Ticket与幸存没有什么关系,删除该列。姓名name列也可以删除。
# -------------3.训练集 数据清洗与处理:缺失值处理------------------------
print("\n---3.训练集 数据清洗与处理:缺失值处理---\n训练集年龄Age字段的描述性统计信息:\n")
titanic.describe('Age').show() # 查看年龄Age的描述性统计信息
avg_age = titanic.agg(mean('Age')).collect()[0][0] # 计算年龄的平均值
print("训练集平均年龄为:", avg_age)
titanic = titanic.fillna({'Age': avg_age}) # 用年龄Age的平均值替换缺失值。
titanic = titanic.withColumn('Age', round('Age', 0)) # round('Age', 0)对列Age四舍五入,然后再更新,格式和目标列一致,如56.0
print("\n用年龄平均值填充年龄列的缺失值后,训练集数据如下:")
titanic.show(5)
titanic.describe('Age').show()
titanic = titanic.fillna({'Embarked': 'S'}) # 用登陆港口‘S’替换Embarked列的缺失值
titanic = titanic.drop('Cabin') # 删除舱位Cabin列,该列与幸存没关系
titanic = titanic.drop('Ticket') # 删除船票号Ticket列,该列与幸存没关系。
print("数据清洗和处理(填充登陆港口Embarked缺失值,删除舱位Cabin和票号Ticket)后的训练集:")
titanic.show(5)
titanic.printSchema()
4.特征工程
4.1 数值化字符串类型的列
由于机器学习不能直接处理字符串类型数据,因此将将字符串类型的列Embarked 和Sex数值化。
# ----------------------4. 特征工程---------------------
print("--------4. 特征工程--------------")
# 将字符串类型的列数值化(机器学习算法不能直接处理字符串列数据)。先使用StringIndexer类(标签索引转换器)创建一个模型实例
label_index = StringIndexer(inputCols=['Embarked', 'Sex'], outputCols=['iEmbarked', 'iSex'])
# 让模型学习'Embarked', 'Sex'列中所有不同的字符串值,分别为它们分配一个唯一的整数标识符。 拟合过程会构建一个从字符串到整数的映射关系。
label_model = label_index.fit(titanic)
# 使用拟合好的模型对训练数据集titanic进行转换。transform()方法会根据前面构建的映射关系,将'Embarked', 'Sex'列中的每个字符串值替换为对应的整数标识符
titanic = label_model.transform(titanic)
print("将Embarked和Sex数值化后的训练集如下:")
titanic.show(5, False)
程序运行结果如下:
4.2 选择特征,并向量化
选择数值型的字段,用于模型训练和模型应用的Survived值预测。选择的特征有:[‘Pclass’, ‘iSex’, ‘Age’, ‘SibSp’, ‘Parch’, ‘Fare’, ‘iEmbarked’],将其向量化,最后将向量化后的数据集划分为训练集(70%)和测试集(30%)。
# 选择多个特征列,并将其转换为向量列:features
df_assembler = VectorAssembler(inputCols=['Pclass', 'iSex', 'Age', 'SibSp', 'Parch', 'Fare', 'iEmbarked'],
outputCol='features') # VectorAssembler:将给定的字段列表(类型必须为数值)转换为一个向量列
titanic_assembled = df_assembler.transform(titanic) # 对数值化后的数据集titanic进行向量化转换
print("将多个数值型特征向量化后的训练数据:")
titanic_assembled.show(5, False)
titanic_assembled['features',].show(5)
titanic_assembled['Survived',].show(5)
train, test = titanic_assembled.randomSplit([0.7, 0.3], seed=3) # 将数据集划分为训练集(70%)和测试集(30%)
向量化后的数据集titanic如下所示:
后面的模型训练,主要是使用向量化后的特征列:features,以及标签列:Survived。
4.3 待预测数据集的预处理
待预测数据集titanic_pred.csv的数据预处理过程也是按照同样的流程操作。
(1)导入数据,填充缺失值和删除无关列。
filename = "titanic_pred.csv"
newData = spark.read.csv('hdfs://192.168.126.10:9000/data/' + filename, header=True, inferSchema=True) # 数据集包含标题行
print("待预测数据集的行数:", newData.count(), ",待预测数据集的列总数:", len(newData.columns))
print("-------5.待预测数据集test的数据处理----------------")
newData = newData.fillna({'Age': 29.699, 'Embarked': 'S'}) # 用平均值29.699填充Age列的空值,S填充Embarked空值
newData = newData.withColumn('Age', round('Age', 0)) # 对列Age四舍五入,保留0个小数,然后重新赋值给Age
newData = newData.drop('Cabin', 'Ticket') # 删除两列数据
print("Age,Embarked缺失值填充,Cabin,Ticket删除后的待预测数据集:")
newData.show(5)
(2)数值化字符串类型的列
使用前面创建并拟合好的数值化模型label_model,数值化列’Embarked’, ‘Sex’。
# 将字符型数据 数值化
newData = label_model.transform(newData) # 使用前面的数值化模型label_model,数值化列'Embarked', 'Sex'
print("字符型列的数据数值化后的待预测数据集:")
newData.show(5)
数值化后的待预测数据集titanic_pred部分数据如下所示。
(3)选择特征,并向量化
为了方便查看预测结果,将乘客编号PassengerId加入到选择的特征,但该列不参与向量化,因为前面构建的向量化模型df_assembler并没有考虑该列。
# 选择特征
features = ['Pclass', 'iSex', 'Age', 'SibSp', 'Parch', 'Fare', 'iEmbarked']
newData_features = newData[['PassengerId'] + features] # 加上乘客编号PassengerId,构造新的dataframe,带有乘客编号便于查看预测结果。
print("选择特征后的待预测数据,没有标签Survived:")
newData_features.show(5)
# 将多个列转换为向量
newData_assembled = df_assembler.transform(newData_features) # 使用前面构建的向量化模型df_assembler,将newData_features数据集向量化
print("将选择的特征向量化后的待预测数据集:")
newData_assembled.show(5)
向量化后的待预测数据集部分数据如下所示。
此时,使用后面训练好的分类模型,根据向量化列features,就可以预测乘客是否幸存Survived。
5. 构建分类模型:逻辑回归模型LogisticRegression
构建逻辑回归模型,并用训练集train训练模型,训练好的逻辑回归模型为:lgModel 。
# 6.1 模型构建及训练
lg = LogisticRegression(labelCol='Survived', featuresCol='features') # 构建逻辑回归模型,确定标签为Survived列,特征为features列
lgModel = lg.fit(train) # 模型训练
6. 模型评估
模型评估有两种方法,一种是内部评估法,另外一种是外部评估法。
方法一:内部评估(In-sample Evaluation)
- 数据来源:内部评估使用模型训练时所用的数据集(训练集)或训练数据的一个子集来进行评估。
- 评估目的:主要用于在模型训练过程中监控模型的性能,以便进行模型选择和调优。它可以帮助开发者了解模型在已知数据上的表现,但可能无法准确反映模型在未知数据上的泛化能力。
- 可靠性:由于评估数据与训练数据相同或高度相似,内部评估结果可能过于乐观,存在过拟合的风险。因此,它通常不能作为模型最终性能的可靠指标。
# 6.2 模型测试评估:
# 方法一:内部评估
print("逻辑回归分类模型的 假正率FPR和真正率TPR(召回率),ROC曲线以FPR为横轴,TPR为纵轴:")
trainingSummary = lgModel.summary
trainingSummary.roc.show()
print('逻辑回归模型准确率:', trainingSummary.accuracy)
print('每个标签(类别)的召回率:', trainingSummary.recallByLabel)
print('加权平均召回率:', trainingSummary.weightedRecall)
print('每个标签(类别)的精度:', trainingSummary.precisionByLabel)
print('加权平均精度:', trainingSummary.weightedPrecision)
模型评估结果如下:
方法二:外部评估(Out-of-sample Evaluation)
- 数据来源:外部评估使用模型训练过程中未使用过的数据集(如测试集或验证集)来进行评估。这些数据集与训练数据独立,模拟了模型在实际应用中的未知数据环境。
- 评估目的:外部评估旨在评估模型在未知数据上的泛化能力,即模型能否准确地对新数据进行预测或分类。这是评估模型最终性能的关键步骤。
- 可靠性:由于评估数据与训练数据独立,外部评估结果更加可靠,能够更准确地反映模型在实际应用中的表现。它是选择最终模型并进行部署的重要依据。
metricName 参数提供的评估指标有:
- “f1”:F1分数,是精确率和召回率的调和平均数,对于数据不平衡的情况特别有用。
- “accuracy”: 准确率,即正确预测的样本数与总样本数的比例。
- “weightedPrecision”:加权精确率,考虑了每个类别的支持度(即每个类别的样本数)。
- “weightedRecall”:加权召回率,同样考虑了每个类别的支持度。
- “weightedTruePositiveRate”:加权真正率(TPR),也叫做灵敏度或召回率,但在这里是加权形式。
- “weightedFalsePositiveRate”:加权假正率(FPR),是误报率的加权形式。
- “weightedFMeasure”:加权F-measure,是精确率和召回率的加权调和平均数。
- “truePositiveRateByLabel”:每个类别的真正率(TPR)。
- “falsePositiveRateByLabel”:每个类别的假正率(FPR)。
- “precisionByLabel”:每个类别的精确率。
- “recallByLabel”:每个类别的召回率。
- “fMeasureByLabel”:每个类别的F-measure。
# 方法二:外部评估
lg_predictions = lgModel.transform(test) # 用测试集做预测,用于评估模型
# 多分类模型评估器,需要指定labelCol(真实标签的列名)和predictionCol(模型预测结果的列名),指标metricName名称为准确率accuracy
multi_evaluator = MulticlassClassificationEvaluator(labelCol='Survived',
predictionCol='prediction',
metricName='accuracy')
print('逻辑回归模型的准确率为:', multi_evaluator.evaluate(lg_predictions))
multi_evaluator = MulticlassClassificationEvaluator(labelCol='Survived',
predictionCol='prediction',
metricName='weightedRecall')
print('加权召回率为:', multi_evaluator.evaluate(lg_predictions))
逻辑回归模型评估结果如下:
7. 模型应用
使用训练好的逻辑回归模型lgModel,预测数据集titanic_pred的乘客幸存情况。代码如下:
# 6.3 模型应用:使用训练好的 逻辑回归模型对待预测数据 预测
prediction = lgModel.transform(newData_assembled) # 应用训练好的逻辑回归模型预测 待预测数据集test
print("\n逻辑回归模型对待预测数据集test的预测结果如下:")
prediction.show(5)
prediction.select(['PassengerId', 'Pclass', 'iSex', 'features', 'prediction']).show(5) # 抽取部分数据
预测结果如下:
抽取部分列[‘PassengerId’, ‘Pclass’, ‘iSex’, ‘features’, ‘prediction’]的预测数据如下:
四、其他分类模型
1.决策树模型
使用前面已经预处理、数值化、向量化的训练数据集train和测试数据集test,可以很方便构建、训练、评估决策树模型,最后用决策树模型预测乘客是否幸存。
# 7.1 模型创建与训练
dTree = DecisionTreeClassifier(labelCol='Survived', featuresCol='features')
treeMode = dTree.fit(train)
# 7.2 模型测试评估:方法二,常用
dt_predictions = treeMode.transform(test) # 用测试集做预测,用于评估模型
# 多分类模型评估器,需要指定labelCol(真实标签的列名)和predictionCol(模型预测结果的列名),指标metricName名称为准确率
multi_evaluator = MulticlassClassificationEvaluator(labelCol='Survived',
predictionCol='prediction',
metricName='accuracy')
print('决策树的准确率为:', multi_evaluator.evaluate(dt_predictions))
# 7.3 模型应用:决策树模型应用,预测
pred = treeMode.transform(newData_assembled)
print("决策树模型对待预测数据集titanic_pred的预测结果如下:")
pred.show(5, False)
pred.select(['Pclass', 'iSex', 'features', 'prediction']).show(5) # 抽取数据
模型预测 结果如下:
2.随机森林树模型
同理,构建、训练和评估决策树模型,最后用随机森林树模型预测乘客是否幸存。
# ----------------8.其他分类模型:随机森林树模型--------------------------
rfc = RandomForestClassifier(labelCol='Survived', featuresCol='features') # 构建随机森林树模型
rfcMode = rfc.fit(train) # 模型训练
rf_pred = rfcMode.transform(test) # 用训练数据做预测,用于评估模型
multi_evaluator = MulticlassClassificationEvaluator(labelCol='Survived',
predictionCol='prediction',
metricName='accuracy')
print('随机森林树算法的准确率:', multi_evaluator.evaluate(rf_pred))
print("随机森林模型对待预测数据集titanic_pred的预测结果如下:")
pred = rfcMode.transform(newData_assembled).select(['PassengerId', 'Pclass', 'iSex', 'prediction']) # 抽取部分数据
pred.show(5, False)
随机森森林树模型预测结果如下:
参考资料:
1.PySpark 大数据机器学习入门案例1 :iris+ ML+Logistics分类:https://www.zhihu.com/tardis/bd/art/612626873?source_id=1001
2.pySpark 机器学习库ml入门(参数调优):https://www.jianshu.com/p/20456b512fa7
3.PySpark 逻辑回归(参数调优):https://zhuanlan.zhihu.com/p/461211990
4.Spark ML LR 用 setWeightCol 解决数据不平衡:https://kelun.blog.csdn.net/article/details/103425926
5.Python——机器学习:不平衡数据集常用处理方法和实例:https://blog.csdn.net/weixin_53848907/article/details/135976144
6.决策树分类器(DecisionTreeClassifier):https://blog.csdn.net/qq_66726657/article/details/132470442
7.戴刚,张良均. PySpark大数据分析与应用. 人民邮电出版社,2024.
8.汪明. PySpark实战. 清华大学出版社,2022