[spark]总结spark ML机器学习库（pyspark.ml）

最新推荐文章于 2024-08-16 21:51:12 发布
最新推荐文章于 2024-08-16 21:51:12 发布
阅读量2.5k 收藏 30
点赞数 5
分类专栏： spark 文章标签： spark ml 机器学习库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woniu201411/article/details/89965151
版权
本文深入探讨了pyspark.ml库，包括特征处理、模型构建和参数调优。重点介绍了如何使用pyspark.ml.feature进行特征工程，利用pyspark.ml模型进行机器学习任务，并详细讲解了pyspark.ml.tuning模块的参数网格搜索方法，如CrossValidator和TrainValidationSplit，用于选择最佳模型参数。
摘要由CSDN通过智能技术生成

目录

一、pyspark.ml.feature特征处理

二、pyspark.ml模型

三、pyspark.ml.tuning参数遍历

一、pyspark.ml.feature特征处理

  方法 描述 功能
连续特征离散化 Binarizer 将连续值划分为二元离散数值 连续特征离散化
Bucketizer 将连续值划分为多元离散数值 连续特征离散化
QuantileDiscretizer 分位数离散化，将连续型特征转换为分级类别特征，每个类别的元素个数大致相等 连续特征离散化
特征选择 ChiSqSelector 根据卡方检验，选取类别标签主要依赖的特征 特征选择
PCA 主成分分析，找出特征中最重要的特征，进行降维 特征提取、数据降维
VectorSlicer 从原来的特征向量中切割一部分，形成新的特征向量 特征选择
特征归一化
最低0.47元/天 解锁文章
辰星M
关注
专栏目录
SparkML机器学习实战：应用回归算法，预测二手房价格
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-05 2218
受某房产中介委托，需开发一套机器学习系统，当用户将要售卖的二手房挂到二手房网站上时，该机器学习系统能自动根据该二手房的相关信息给出合理的销售价格预测，以指导客户报价。本案例所使用的数据集为纯文本文件，说明如下：   数据集路径：/data/dataset/ml/house/train.csv1、启动HDFS集群   在Linux终端窗口下，输入以下命令，启动HDFS集群： 2、启动Spark集群   在Linux终端窗口下，输入以下命令，启动Spark集群： 3、启动zeppelin服务器   在Linux
Spark学习之机器学习包ML
weixin_43648821的博客
05-24 885
Spark的ML软件包，其操作是基于DataFrame的。ML包括转换器(Transformer)、评估器(Estimator)、管道(Pipeline)。 1、 转换器----Transformer 通常是将一个新列附加到DataFrame来转换数据。从高层次上看，当从转换器的抽象类派生时，每个新的转换器需要实现.transform()方法。该方法要求传递一个要被转换的DataFrame，该参数通常是第一个也是唯一的一个强制性参数。其他参数有inputCol、outputCol，inputCol的参数默认
PySpark-ML
03-17
PySpark-ML 在此存储库中，将演示使用PySpark的多类文本分类的Python编程语言编写Spark的功能。 数据结构 df = spark . read . csv ( '/home/renos/Downloads/sf-crime/train.csv' , header = True , inferSchema = True ) print ( df . columns ) print ( len ( df . columns )) ['Dates', 'Category', 'Descript', 'DayOfWeek', 'PdDistrict', 'Resolution', 'Address', 'X', 'Y'] 9 火车数据集 模型需要输入（描述）和输出（类别） data = df [[ 'Category' , 'Descript' ]] data . pr
spark mllib 协同过滤推荐算法（ALS) python 实现 完整实例程序
03-07
一个完成的spark mllib 协同过滤推荐算法ALS 完整实例程序，基于 spark yarn-client模式运行，另外，包括训练数据。
教程 6 - 使用 Python 的 Pyspark - Pyspark Mlib 简介
最新发布
krishnaik06的博客
08-16 209
这段文字主要介绍了使用 Spark ML 进行机器学习，并以一个简单的预测薪资的例子进行说明。 具体内容如下： 介绍 Spark ML 的两种技术： RDD 技术和 DataFrame API，并强调 DataFrame API 是目前最常用的技术。 讲解 DataFrame API 的使用： 通过一个简单的预测薪资的例子，展示了如何使用 DataFrame API 进行机器学习。 数据示例：...
Spark：特征处理之数据离散化
weixin_33841503的博客
01-04 586
二元转换Binarizer Binarizer是将连续型变量根据某个阈值，转换成二元的分类变量。 小于该阈值的转换为0，大于该阈值的转换为1。 要求输入列必须是double，int都会报错。 如下：输入的是0.1，0.8，0.2连续型变量，要以0.5为阈值来转换成二元变量（0,1）。 打印结果： Binarizer output with Thres...
Pyspark:特征处理(ml.feature包的使用)
读万卷书 行万里路
10-15 1959
ml.feature于分类变量映射有关的类主要有：VectorIndexer、StringIndexer和IndexToString类。ml.feature包中常用归一化的类主要有：MaxAbsScaler、MinMaxScaler、StandardScaler、RobustScaler和Normalizer。除了以上介绍的类之外，ml.feature包中还有其他方法。结合以上对OneHotEncoder的转化结果进行说明：字段中的最大值即为转后的向量的维度，注意不是字段中不同值的总数；
PySpark in PyCharm on a remote server
textboy的专栏
09-07 1774
Q: sudo: sorry, you must have a tty to run sudo A: cd /etc chmod 640 sudoers vi /etc/sudoers #Default requiretty  #注释掉 Default requiretty 一行。意思就是sudo默认需要tty终端，注释掉就可以在后台执行了。 Q: VirtualBox的Sha
从0开始学习pyspark（八）：使用pyspark.ml.classification模块对蘑菇进行分类
泛泛之素
11-06 7410
数据下载： 数据为kaggle上的关于蘑菇分类的数据，地址：https://www.kaggle.com/uciml/mushroom-classification 也可在这里下载：https://github.com/ffzs/dataset/blob/master/mushrooms.csv 数据准备： 本数据集用于分类毒蘑菇和可食用蘑菇，共22个特征值，其中特征描述都是字符，用于机器学习的话...
深入探索Spark MLlib：大数据时代的机器学习利器
06-07 1104
随着大数据技术的迅猛发展，机器学习在各行各业的应用日益广泛。Apache Spark作为大数据处理的利器，其内置的机器学习库MLlib（Machine Learning Library）提供了一套高效、易用的工具，用于处理和分析海量数据。本文将深入探讨Spark MLlib，介绍其核心功能和应用场景，并通过实例展示如何在实际项目中应用这些工具。
Spark ML机器学习：连续型数据处理之给定分位数离散化-QuantileDiscretizer
大模型大数据攻城狮的专栏
02-14 3903
QuantileDiscretizer输入连续的特征列,输出分箱的类别特征。分箱数是通过参数numBuckets来指定的。 箱的范围是通过使用近似算法(见approxQuantile )来得到的。 近似的精度可以通过relativeError参数来控制。当这个参数设置为0时,将会计算精确的分位数。箱的上边界和下边界分别是正无穷和负无穷时, 取值将会覆盖所有的实数值。 例子   假设我们有下面的...
PySpark之SparkMLlib基本操作
张先生－您好的博客
05-20 911
PySpark之SparkMLlib基本操作 前言 Spark的引入: 传统的机器学习算法，由于技术和单机存储的限制，只能在少量数据上使用，依赖于数据抽样 大数据技术的出现，可以支持在全量数据上进行机器学习 机器学习算法涉及大量迭代计算 基于磁盘的MapReduce不适合进行大量迭代计算 基于内存的Spark比较适合进行大量迭代计算 Spark的优点: Spark提供了一个基于海量数据的机器学习库，它提供了常用机器学习算法的分布式实现 开发者只需要有Spark 基础并且了解机器学习算法的原理，以及方法
pyspark- ml-features
风吴痕的博客
10-18 4391
参考地址： 1、http://spark.apache.org/docs/latest/ml-guide.html 2、https://github.com/apache/spark/tree/v2.2.0 3、http://spark.apache.org/docs/latest/ml-features.html Extracting, transforming
PySpark之机器学习库ML(分类、聚类、回归)
十三
04-18 2242
import findspark findspark.init() from pyspark.sql.session import SparkSession spark = SparkSession.builder.appName('LIXU').getOrCreate() 案例 1 使用逻辑回归预测婴幼儿存活 1、加载数据 数据的下载地址：http://www.tomdrabas.com/d...
【工程应用】推荐模型离线训练之Spark MLlib
qq_36643449的博客
05-09 709
分布式机器学习训练有三个主要的方案，分别是Spark MLlib，Parameter Server和TensorFlow，倒不是说他们是唯三可供选择的平台，而是因为他们分别代表着三种主流的解决分布式训练方法。 虽然受到了诸如Flink等后起之秀的挑战，但Spark仍是当之无愧的业界最主流的计算平台。而且为了照顾数据处理和模型训练平台的一致性，也有大量公司采用Spark原生的机器学习平台MLlib进行模型训练。选择Spark MLlib作为机器学习分布式训练平台的第一站，不仅因为Spark是流行的，更是因为S
[机器学习、Spark]Spark机器学习库MLlib的概述与数据类型
m0_57781407的博客
10-18 3787
MLlib是Spark提供的可扩展的机器学习库，其特点是采用较为先进的迭代式、内存存储的分析计算，使得数据的计算处理速度大大高于普通的数据处理引擎。 MLlib的主要数据类型包括本地向量、标注点、本地矩阵。 本地向量和本地矩阵是提供公共接口的简单数据模型，Breeze和Jblas提供了底层的线性代数运算。 在监督学习中用标注点类型表示训练样本。
PySpark学习笔记（4）——MLlib和ML介绍
FlySky1991的专栏
03-23 4712
Spark MLlib是Spark中专门用于处理机器学习任务的库，但在最新的Spark 2.0中，大部分机器学习相关的任务已经转移到Spark ML包中。两者的区别在于MLlib是基于RDD源数据的，而ML是基于DataFrame的更抽象的概念，可以创建包含从数据清洗到特征工程再到模型训练等一系列机器学习工作。所以，未来在用Spark处理机器学习任务时，将以Spark ML为主。Spark ML主...
pyspark：ML和MLlib
05-31 3936
Spark有两个用于机器学习的库，分别是ML和MLlib，可以把实际的机器学习以简单、可伸缩并且无缝的方式与Spark整合起来。Spark中ML和MLlib的主要区别和联系如下： （1）目前常用的机器学习功能2个库都能满足需求； （2）spark官方推荐使用ML, 因为在spark3.0之后，将会废弃MLlib，全面的基于ML。因为ml操作的对象是DataFrame，操作起来会比...
PySpark︱pyspark.ml 相关模型实践
素质云笔记
07-26 2007
文章目录1 pyspark.ml MLP模型实践9 spark.ml模型评估 MulticlassClassificationEvaluator 1 pyspark.ml MLP模型实践 官方案例来源：https://spark.apache.org/docs/latest/api/python/pyspark.ml.html#pyspark.ml.classification.Multilay...
Apache Spark与PySpark机器学习教程
Apache Spark是一个被广泛认可的快速、易用且通用的大数据处理引擎，它内置了用于流处理、SQL、机器学习（ML）和图处理的模块。这个技术对于数据工程师来说是一项高需求的技能，同时，数据科学家在进行探索性数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值