【Spark】实验6 Spark机器学习库MLlib编程实践

已于 2023-06-11 11:23:51 修改
阅读量5.4k 收藏 71
点赞数 16
分类专栏： 【作业分享交流】 文章标签： 机器学习 spark mllib
于 2023-06-05 21:53:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lenhart001/article/details/131056343
版权

Spark机器学习库MLlib编程实践

一、实验目的

  • 通过实验掌握基本的MLLib编程方法；
  • 掌握用MLLib解决一些常见的数据分析问题，包括数据导入、成分分析和分类和预测等。

二、实验平台

  • 新工科智慧平台。
  • 数据集1：下载Adult数据集(http://archive.ics.uci.edu/ml/datasets/Adult)，该数据集也可以从教学平台获取。
    • 数据从美国1994年人口普查数据库抽取而来，可用来预测居民收入是否超过50K$/year。
    • 该数据集类变量为年收入是否超过50k$，属性变量包含年龄、工种、学历、职业、人种等重要信息。
    • 值得一提的是，14个属性变量中有7个类别型变量。
  • 数据集2：鸢尾花数据集 150条鸢尾花数据集

三、实验内容和要求

3.1 居民收入数据分类

1.数据导入

  • 从文件中导入数据，并转化为DataFrame。
  • 在进行数据导入前，要先对所下载的adult数据集进行预处理（本次实验只用到了adult.data和adult.test两个文件）
    • 处理1：两个文件最后的空行要删掉，不然会报错！！！
      在这里插入图片描述
    • 处理2：adult.test文件的第一行删掉，不然会报错！！
      在这里插入图片描述
    • 处理3：把adult.test文件中每一行最后的“.”删掉（直接替换即可），不然会报错！！！
      在这里插入图片描述
  • 从文件中导入数据，并转化为DataFrame
from pyspark.ml.feature import PCA
from pyspark.shell import spark
from pyspark.sql import Row
from pyspark.ml.linalg import Vector, Vectors
from pyspark.ml.evaluation import MulticlassClassificationEvaluator
from pyspark.ml import Pipeline, PipelineModel
from pyspark.ml.feature import IndexToString, StringIndexer, VectorIndexer, HashingTF, Tokenizer
from pyspark.ml.classification import LogisticRegression
from pyspark.ml.classification import LogisticRegressionModel
from pyspark.ml.classification import BinaryLogisticRegressionSummary, LogisticRegression
from pyspark.sql import functions
from pyspark.ml.tuning import CrossValidator, ParamGridBuilder


def f(x):
    rel = {'features': Vectors.dense(float(x[0]), float(x[2]), float(x[4]), float(x[10]), float(x[11]), float(x[12])),
           'label': str(x[14])}
    return rel

df = spark.sparkContext.textFile("/Users/liuhao/MyProject/PycharmProject/Spark/Data/adult.data")\
    .map(lambda line: line.split(',')).map(lambda p: Row(**f(p))).toDF()
test = spark.sparkContext.textFile("/Users/liuhao/MyProject/PycharmProject/Spark/Data/adult.test")\
    .map(lambda line: line.split(',')).map(lambda p: Row(**f(p))).toDF()

在这里插入图片描述

2.进行主成分分析（PCA）

  • 对6个连续型的数值型变量进行主成分分析。
    • PCA（主成分分析）是通过正交变换把一组相关变量的观测值转化成一组线性无关的变量值，即主成分的一种方法。
    • PCA通过使用主成分把特征向量投影到低维空间，实现对特征向量的降维。
  • 通过setK()方法将主成分数量设置为3，把连续型的特征向量转化成一个3维的主成分。
  • 构建PCA模型，并通过训练集进行主成分分解，然后分别应用到训练集和测试集
pca = PCA(k=3, inputCol="features", outputCol="pcaFeatures").fit(df)
result = pca.transform(df)
testdata = pca.transform(test)

result.show()

在这里插入图片描述

test.show()

在这里插入图片描述

3.训练分类模型并预测居民收入

  • 在主成分分析的基础上，采用逻辑回归，以及决策树模型预测居民收入是否超过50K；
  • 对Test数据集进行验证。 并对两种方法结果进行分析对比。
labelIndexer = StringIndexer(inputCol="label",outputCol="indexedLabel").fit(result)
for label in labelIndexer.labels:
    print(label)

featureIndexer = VectorIndexer (inputCol="pcaFeatures", outputCol="indexedFeatures").fit(result)
print(featureIndexer.numFeatures)

labelConverter = IndexToString (inputCol=" prediction", outputCol=" predictedLabel", labels=labelIndexer.labels)
labelIndexer = StringIndexer (inputCol="label",outputCol=" indexed abel" ).fit(result)
for label in labelIndexer.labels:
    print(label)

在这里插入图片描述

featureIndexer = VectorIndexer(inputCol="pcaFeatures", outputCol="indexedFeatures").fit(result)
print (featureIndexer.numFeatures)

labelConverter = IndexToString (inputCol="prediction", outputCol="predictedLabel", labels=labelIndexer.labels)
lr = LogisticRegression().setLabelCol("indexedLabel").setFeaturesCol("indexedFeatures").setMaxIter(100)
lrPipeline = Pipeline().setStages( [labelIndexer, featureIndexer, lr, labelConverter])
lrPipelineModel = lrPipeline. fit( result)
lrModel = lrPipelineModel. stages[2]
print ("Coefficients: In " + str(lrModel.coefficientMatrix)+"\nIntercept: "+str(lrModel.interceptVector)+
       "\n+numFeatures: " + str( lrModel. numFeatures))

lrPredictions = lrPipelineModel.transform(testdata)
evaluator = MulticlassClassificationEvaluator() . setLabelCol(" indexedLabel" ) . setPredictionCol( "prediction" )
lrAccuracy = evaluator . evaluate(lrPredictions)
print("Test Error = %g " % (1.0 - lrAccuracy))

在这里插入图片描述

4.超参数调优

  • 利用CrossValidator确定最优的参数，包括最优主成分PCA的维数、分类器自身的参数等。
pca = PCA().setInputCol("features").setOutputCol( "pcaFeatures" )
labelIndexer = StringIndexer() . setInputCol("label" ) . set0utputCol(" indexedLabel" ) . fit(df )
featureIndexer = VectorIndexer() . setInputCol(" pcaFeatures") . setOutputCol(" indexedFeatures" )
labelConverter = IndexToString() . setInputCol(" prediction") . set0utputCol (" predictedLabel" ) . setLabels(labelIndexer . labels)
lr = LogisticRegression() .setLabelCol(" indexedLabel") .setFeaturesCol( "indexedFeatures") .setMaxIter(100)
lrPipeline = Pipeline() . setStages( [pca, labelIndexer, featureIndexer, lr, labelConverter])
paramGrid = ParamGridBuilder().addGrid(pca.k, [1,2,3,4,5,6]) . addGrid(lr.elasticNetParam, [0.2,0.8]) . addGrid(lr.regParam,[0.01,0.1,0,5]).build()
cv = CrossValidator().setEstimator(lrPipeline).setEvaluator(MulticlassClassificationEvaluator().setabelCol("indexedLabel")
                                                            .setPredictionCol("prediction") ).setEstimatorParamMaps ( paramGrid).setNumFolds(3)
cvModel = cv. fit(df)
lrPredictions = cvModel. transform(test )
evaluator = MulticlassClassificationEvaluator() . setLabelCol(" indexedLabel" ) . setPredictionCol( "prediction" )
lrAccuracy = evaluator . evaluate(lrPredictions )
print("i€ỡã 4 # "+str(lrAccuracy))


bestModel= cvModel.bestModel
lrModel = bestModel.stages[3]
print ("Coefficients: n " + str(lrModel. coefficientMatrix)+"InIntercept: "+str(lrModel.interceptVector)+ "In numClasses:ses)"+"\n numFeatures: "+str(lrModel. numFeatures))
pcaModel = bestModel. stages[0]

在这里插入图片描述

  • PCA最优的维数是6。

3.2 鸢尾花数据聚类分析

1、数据集导入

import pandas as pd
import numpy as np
from sklearn.cluster import KMeans
from sklearn.mixture import GaussianMixture


data_path = "/Users/liuhao/MyProject/PycharmProject/Spark/Data/iris.txt"
data = pd.read_csv(data_path, header=None)
X = data.iloc[:, :-1]  # 特征数据
y = data.iloc[:, -1]   # 类别标签

2、构建聚类模型可以采用Kmeans及GMM，并训练

# 建立聚类模型
kmeans_model = KMeans(n_clusters=3, random_state=42)
gmm_model = GaussianMixture(n_components=3, random_state=42)

# 训练模型
kmeans_model.fit(X)
gmm_model.fit(X)

3、输出聚类标签

kmeans_labels = kmeans_model.labels_
gmm_labels = gmm_model.predict(X)

print("KMeans聚类标签:")
print(kmeans_labels)
print("\nGMM聚类标签:")
print(gmm_labels)

在这里插入图片描述

4、查看聚类中心或混合成分参数，分析并对比聚类效果

kmeans_centers = kmeans_model.cluster_centers_
gmm_means = gmm_model.means_
gmm_covariances = gmm_model.covariances_

print("\nKMeans聚类中心:")
print(kmeans_centers)
print("\nGMM混合成分均值:")
print(gmm_means)
print("\nGMM混合成分协方差矩阵:")
print(gmm_covariances)

在这里插入图片描述

小手の冰凉
关注
  • 16
    点赞
  • 踩
  • 71
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
Spark MLlib机器学习库原理与代码实例讲解
禅与计算机程序设计艺术
06-07 436
Spark MLlib机器学习库原理与代码实例讲解 1.背景介绍 1.1 大数据时代的机器学习需求 在当今大数据时代,海量数据的产生和积累为机器学习的发展提供了前所未有的机遇。传统的机器学习算法和框架在处理大规模数
分布式期末复习总结（林子雨老师）
Fun2002的博客
06-23 997
主要根据林子雨老师的博客做了个人期末重点的参考
[机器学习、Spark]Spark机器学习库MLlib的概述与数据类型
m0_57781407的博客
10-18 3727
MLlib是Spark提供的可扩展的机器学习库，其特点是采用较为先进的迭代式、内存存储的分析计算，使得数据的计算处理速度大大高于普通的数据处理引擎。 MLlib的主要数据类型包括本地向量、标注点、本地矩阵。 本地向量和本地矩阵是提供公共接口的简单数据模型，Breeze和Jblas提供了底层的线性代数运算。 在监督学习中用标注点类型表示训练样本。
Spark MLlib机器学习 | 算法综合实战(一)(史上最详细)
天涯芳草
05-19 6843
====================================== ============================ 8.1.1 什么是机器学习 机器学习可以看做是一门人工智能的科学，该领域的主要研究对象是人工智能。机器学习利用数据或以往的经验，以此优化计算机程序的性能标准。 机器学习强调三个关键词：算法、经验、性能 从最小二乘法说起 ......
MLib基础
mumuwzj的博客
05-14 2323
1）MLib是一个构建在Spark上的专门针对大数据处理的并发式高速机器学习库，采用较为先进的迭代式、内存存储的分析计算，使得数据的计算处理速度大大高于普通的数据处理引擎 2）目前MLlib中已经有通用的学习算法和工具类，包括统计、分类、回归、聚类、降维等。 3）MLlib采用Scala语言编写，Scala语言是运行在JVM上的一种函数式编程语言，特点就是可移植性强，“一次编写，到处运行”是其最重要的特点。借助于RDD数据统一输入格式，让用户可以在不同的IDE上编写数据处理程序，通过本地化测试后可以在略
SparkMLlib核心概念
互联网知识分享
05-17 302
通信的角度讲，如果使用MapReduce计算框架，JobTracker和TaskTracker之间通过hearbeat的方式传递数据，会导致非常慢的执行速度。而Spark基于内存的计算模型，天生擅长迭代计算，每个步骤可以直接在内存中完成，只有在必要时，才会操作磁盘、网络。（1）MLlib 是 Spark 的机器学习库，旨在简化机器学习的工程实践工作，并方便扩展到更大规模。计算的过程，机器学习的计算需要在多次迭代后，获得足够小的误差才会停止。提供MLlib机器学习库，它提供了常用的机器学习算法的分布式实现。
Spark学习之路——8.Spark MLlib
Nelson_hehe的博客
02-02 935
MLlib的官网文档： http://spark.apache.org/docs/latest/ml-guide.html 本节主要内容： 一、MLlib简述 二、基本数据类型 三、汇总统计 四、实例应用K-means算法 一、MLlib简述： 1.MLlib是什么？ MLlib是Spark的机器学习(ML)库。它的目标是让实用的机器学习变得可扩展和容易。在高层次上，它提供以下工...
Spark+MLlib机器学习实践+,王晓华著
12-22
《Spark+MLlib机器学习实践》是王晓华撰写的一本深度解析Spark机器学习库MLlib的实战指南。这本书全面介绍了如何利用Apache Spark的MLlib库进行高效、大规模的数据挖掘和机器学习任务。以下是对该书内容的详细解读：...
《Spark编程基础及项目实践》课后习题及答案7.pdf
04-04
《Spark编程基础及项目实践》课程的课后习题涵盖了Spark图形处理的基础概念和技术，主要涉及图论基础知识、Spark图计算API以及实际操作题目。以下是这些知识点的详细说明： 1. **图论基础**： - **度的概念**：在...
基于spark的机器学习算法实现
06-29
此外，Spark的`MLlib`库包含了大量机器学习算法，便于开发者实现分布式机器学习。 3. **LR逻辑回归分类**：逻辑回归是一种广泛应用于分类问题的线性模型。在Spark中，`MLlib`提供了`LogisticRegression`类，支持...
Python+Spark 2.0+Hadoop机器学习与大数据
06-08
Spark的DataFrame API使得数据处理更加灵活，而MLlib库则为机器学习提供了便利。通过Spark，可以快速地在大量数据上运行复杂算法，如协同过滤、随机森林、梯度提升树等。 Hadoop则是大数据存储和处理的基础，由HDFS...
spark mllib 常用的自学demo
09-21
自己本人线下记录的一些关于spark学习的例子，大家可以参考下，比如刚学习或者接触大数据的朋友可以看一下。
Spark MLlib (1)
happylls666的博客
01-08 1315
sparkmllib学习笔记
2024年最新【Spark MLlib】（一）架构解析（包含分类(1)，2024年最新斩获offer
最新发布
2301_77033583的博客
05-05 962
疏矩阵在含有大量非零元素的向量Vector计算中会节省大量的空间并大幅度提高计算速度，如下图所示。标量LabledPoint在实际中也被大量使用，例如判断邮件是否为垃圾邮件时就可以使用类似于以下的代码：可以把表示为1.0的判断为正常邮件，而表示为0.0则作为垃圾邮件来看待。对于矩阵Matrix而言，本地模式的矩阵如下所示。
pandas内置数据集_pandas学习实例---Adult数据集（1）
weixin_33705384的博客
12-28 1040
在经过前期的学习后，我们需要一些实例操作来加深我们对pandas的熟悉程度。今天带来的是L在pandas学习之旅中，针对Adult数据集的一些学习笔记。数据来源：https://archive.ics.uci.edu/ml/datasets/Adult​archive.ics.uci.edu下载不了的同学可以从这里下载：链接：https://pan.baidu.com/s/1RfueHHRJRAW...
Apache Spark机器学习库MLlib的使用与实践
禅与计算机程序设计艺术
12-16 213
1.背景介绍 Apache Spark是一个开源的大规模数据处理框架，它可以处理批量数据和流式数据，并提供了一个易于使用的API，以及一个强大的机器学习库MLlib。MLlib包含了许多常用的机器学习算法，如线性回归、逻辑回归、支持向量机、决策树、随机森林等。这些算法可以用于处理各种类型的数据，如图像、文本、时间序列等。 在本文中，我们将
常用UCI数据集链接，mark
doubi1的博客
12-12 2611
1.Adult http://archive.ics.uci.edu/ml/datasets/Adult 2.CMC Contraceptive Method Choice Data Set 3.Auto MPG http://archive.ics.uci.edu/ml/datasets/Auto+MPG 4.Iris http://archive.ics.uci.edu/ml/datasets/Iris 5.pima 官网没有了，看这里https://blog.csdn.net/jiangmen
机器学习库（MLlib）指南（Spark 2.4.5）
人month神话
05-04 923
MLlib是Spark的机器学习（ML）库。它的目标是使机器学习的实际应用变得容易和可扩展。在较高层次上，它提供了以下工具： ML算法：常见的学习算法，如分类、回归、聚类和协作过滤 特征化：特征提取、转换、降维和筛选 工作流（Pipelines）：构建、评估和调整ML工作流的工具 持久性：保存和加载算法、模型和工作流 实用程序：线性代数、统计学、数据处理等。 注：基于DataFrame的...
spark机器学习库mllib编程实践
06-28
### 回答1： Spark机器学习库MLlib是一个基于Spark平台的分布式机器学习库，它提供了一系列常用的机器学习算法和工具，包括分类、回归、聚类、协同过滤、降维等。使用MLlib可以方便地进行大规模的机器学习任务，同时也支持在线学习和增量学习等高级功能。在编程实践中，我们可以使用MLlib来构建机器学习模型，对数据进行预处理和特征工程，进行模型训练和评估等。同时，MLlib还支持与其他Spark组件的无缝集成，如Spark SQL、Spark Streaming等，可以实现更加复杂的机器学习应用场景。 ### 回答2： Spark机器学习库MLlib是一个强大的分布式机器学习框架，原生支持Spark的分布式计算，可以处理大规模的数据集，并提供一系列常见的机器学习算法和工具，包括分类、回归、聚类、推荐等。 MLlib的编程实践主要分为以下几个步骤： 1. 数据预处理 在使用MLlib进行机器学习之前，需要对数据进行预处理，清洗和准备工作，如数据清洗、缺失值填充、特征选择、特征缩放等。MLlib对数据的处理和转换有良好的支持，可以使用Spark的数据处理和转换函数以及MLlib的特征处理函数进行数据的预处理。 2. 特征工程 特征工程是机器学习过程中非常重要的一步，它可以帮助我们选择和构建合适的特征，减少噪声数据对模型的影响。MLlib提供了一系列特征处理函数，如特征标准化、特征编码、特征提取等，可以帮助用户方便地进行特征工程的实践。 3. 模型训练 MLlib支持多种机器学习算法，包括分类、回归、聚类和推荐系统等，用户可以选择合适的算法对数据进行建模和训练。在模型训练过程中，需要进行参数选择和调优，可以通过交叉验证等方法选择最佳的模型和参数。 4. 模型评估和选择 在训练和调优完成后，需要对训练好的模型进行评估和选择。MLlib提供了多种模型评估指标和方法，如准确率、召回率、F1值等，可以帮助用户选择最佳的模型和参数。 5. 预测和应用 在训练和评估好模型之后，就可以使用训练好的模型进行预测和应用了。MLlib提供了预测函数和模型保存与加载功能，可以帮助用户方便地进行模型应用。 总之，MLlib提供了一系列丰富的机器学习算法和工具，并且能够处理大规模数据集，有着非常广泛的应用场景。对于需要对海量数据进行机器学习的用户来说，MLlib的编程实践是非常重要的，需要深入理解其算法和实现方法，以便更好地应用到实际场景中。 ### 回答3： Spark机器学习库MLlib是一个开源的大数据机器学习库，它提供了一套强大的分布式机器学习工具，可以让我们在Spark中轻松地进行机器学习任务。 MLlib提供了许多常见的机器学习算法和工具，包括分类、回归、聚类、降维等，同时也支持常用的数据格式和数据预处理功能。同时，它还提供了很多便利的函数和工具，使得我们可以很方便地处理大规模数据集。 在进行MLlib编程实践时，我们需要掌握以下几个方面的知识： 1. 数据准备与处理：在进行机器学习任务之前，我们需要对数据进行预处理和准备。这包括数据清洗、特征提取、特征缩放、数据转化等，MLlib提供了许多工具和函数来帮助我们完成这些任务。 2. 算法选择与调优：根据我们的任务需求和数据特征，我们需要选择合适的机器学习算法，MLlib提供了常见的分类、回归、聚类、降维算法，我们需要根据具体情况进行选择和调优。 3. 模型训练和预测：在算法选择和调优完成后，我们需要对数据集进行模型训练和预测。这包括模型的拟合、评估、优化等。MLlib提供了很多训练和评估模型的函数和工具。 4. 分布式计算：MLlib是在分布式环境下运行的，因此我们需要掌握Spark集群的搭建和优化，以充分利用分布式计算的优势，提高计算效率和速度。 在进行MLlib编程实践时，我们需要先熟悉Spark的基本操作和RDD编程模型，然后进一步学习MLlib库的API和使用规则。同时，我们还需要深入了解机器学习算法和常见的数据处理和挖掘技术，以便对数据进行准备和处理。 总之，通过使用Spark机器学习库MLlib，我们可以快速地进行大规模数据集的机器学习任务，从而获得更多的洞见和价值。通过MLlib编程实践，我们可以提高自己的机器学习和大数据处理能力，从而更好地应对现代数据科学的挑战。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值