Spark 归一化方法总结Normalizer、StandardScaler、MinMaxScaler

最新推荐文章于 2024-06-28 14:42:59 发布
最新推荐文章于 2024-06-28 14:42:59 发布
阅读量2.4k 收藏 20
点赞数
文章标签： spark 算法 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42155006/article/details/119794353
版权
这篇博客介绍了Apache Spark ml.feature包中的四种归一化方法：Normalizer、StandardScaler、MinMaxScaler和MaxAbsScaler。Normalizer针对每行数据进行单位范数归一化，StandardScaler对特征进行0均值单位标准差标准化，MinMaxScaler线性映射特征至[0, 1]区间，而MaxAbsScaler则将特征缩放到[-1, 1]区间，保持稀疏性。" 86175309,5115755,Idea Dubbo工程日志报错解决：logback与log4j冲突,"['dubbo', '日志配置', 'logback', 'log4j', '依赖管理']
摘要由CSDN通过智能技术生成

org.apache.spark.ml.feature包中包含了4种不同的归一化方法：

Normalizer
StandardScaler
MinMaxScaler
MaxAbsScaler

数据准备

函数对于要处理的数据格式要求是org.apache.spark.ml.linalg.DenseVector

import org.apache.spark.ml.linalg.Vectors

// 数据预处理
val dataFrame = data.na.fill(0).rdd.map(a=>(a.getString(0),Vectors.dense(a.getLong(1),a.getLong(2),a.getLong(3),a.getLong(4)))).toDF("id"
最低0.47元/天 解锁文章
nnnancyyy
关注
  • 0
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark ML 正则化 标准化 归一化 ---- 扩展 spark 中的归一化 函数
shiter编写程序的艺术
08-28 356
扩展spark 的归一化函数 以Logistic 归一化为例，整体思路就是： 首先计算公式中需要用到的值，比如mean 将计算后的值封装在vector 中，针对需要计算的列依次使用math 函数进行计算 在withColumn 中使用udf 进行计算 ...
Spark MLlib 特征工程系列—特征转换ElementwiseProduct
最新发布
08-18 2412
的核心思想是将输入向量中的每个元素与预定义的权重向量（scaling vector）逐元素相乘，生成一个新的向量。输入向量v为v1v2vnv 为 ( [v_1, v_2, \dots, v_n] )v为([v1​v2​vn​])。权重向量w为w1w2wnw 为 ( [w_1, w_2, \dots, w_n] )w为([w1​w2​wn​])。
Spark特征工程-归一化 和 分桶
Code_LT的博客
07-08 1168
归一化 分桶
精准校准：深入解析scikit-learn中的StandardScaler
liuxin33445566的博客
06-28 819
是库中的一个预处理类，用于将特征转换为标准分数（z-scores），即每个特征都会减去其均值并除以其标准差。这样处理后，所有特征都会有0的均值和1的标准差。
Spark机器学习--四种归一化方法总结及图文解释
北京小辉
10-21 1935
目录： 一、描述 二、数据准备 三、 Normalizer 四、 StandardScaler 五、 MinMaxScaler 六、MaxAbsScaler 七、总结 一、描述 org.apache.spark.ml.feature包中包含了4种不同的归一化方法： Normalizer StandardScaler MinMaxScaler MaxAbsScaler   &nbs...
Spark ml数据归一化
Java_Man_China的博客
03-04 9978
import org.apache.log4j.{Level, Logger} import org.apache.spark.ml.linalg.Vectors import org.apache.spark.sql.SparkSession import org.apache.spark.ml.feature.Normalizer import org.apache.spark.ml.feat...
大数据基础之算法——Spark ML归一化方法 MinMaxScaler
Clozzz的博客
10-17 1321
归一化是一种简化计算的方式，即通过某种算法将原始数据集限制在你需要的一定范围内，一方面是数据处理的方便，另一方面是为了后面放入模型计算的方便，使得运行时的收敛性更快。 Spark ML机器学习库中包含了4种归一化的方法： Normalizer StandardScaler MinMaxScaler MaxAbsScaler 在我的项目中只用到了MinMaxScaler方法，在这里我就着重分享该方法的用法。 MinMaxScaler作用是将每一维度的特征向量映射到指定的区间内，通常是[0,1]。他一般有两
Spark ML包中的几种归一化方法总结
尼欧龙的专栏
07-18 1万+
org.apache.spark.ml.feature包中包含了4种不同的归一化方法： Normalizer StandardScaler MinMaxScaler MaxAbsScaler 有时感觉会容易混淆，借助官方文档和实际数据的变换，在这里做一次总结。原文地址：http://www.neilron.xyz/spark-ml-feature-scaler/0 数据准备import org.ap
特征的转换_03-标准化，归一化，正则化
热门推荐
【人工智能】王小草的博客
02-07 1万+
1.标准化StandardScaler1.1 概述我们知道，在训练模型的时候，要输入features,即因子，也叫特征。对于同一个特征，不同的样本中的取值可能会相差非常大，一些异常小或异常大的数据会误导模型的正确训练；另外，如果数据的分布很分散也会影响训练结果。以上两种方式都体现在方差会非常大。此时，我们可以将特征中的值进行标准差标准化，即转换为均值为0，方差为1的正态分布。所以在训练模型之前，一定
大数据开发之机器学习总结（Spark Mllib）（四）
xiaohu21的博客
10-31 870
大数据开发之机器学习总结（Spark Mllib）（四） 背景 在大数据和机器学习交叉的领域，如果公司选择了hadoop生态，结合spark框架，则spark 的mllib用于机器学习实际应用就是不二选择了。 团队有spark基础，学习和适用门槛低。但如果选择python生态，则需要团队有python基础，另外个人认为，python工程化对比java生态还是差了那么一些意思。 1. Spark MLLib简介 spark的mllib目前支持4种常见机器学习问题，分类，回归，聚类，协同过滤。 mlli
mllib逻辑回归 spark_SparkMllib关于数值型特征的基本处理实践
weixin_33274728的博客
02-01 152
原标题：SparkMllib关于数值型特征的基本处理实践在SparkMllib中主要分为特征抽取、特征转化、特征选择，特别是在特征转化方面是从一个DataFrame转化为另外一个DataFrame，在数值型数据处理的时候我们对机器学习数据集中的样本和特征部分进行单独的处理，这里就涉及对样本的正则化操作和数值型特征的归一化和标准化的方法，今天就带大家理解这一部分的思考和认识。1.数据归一化什么是数据...
【机器学习】Spark ML 对数据进行规范化预处理 StandardScaler 与向量拆分
JIE的博客 --- moon_coder
05-05 1699
如果特征具有不同的尺度和范围，可能会导致距离和相似度的度量产生偏差，从而降低模型的精度。它可以将数据集的每个特征按照均值和标准差进行转换，使得所有特征具有相同的尺度和范围，从而降低特征的重要性，提高模型的稳定性和可靠性。同时，中心化并不会改变数据的比例关系，也就是说，中心化后的数据与原始数据之间的关系不会发生变化，因此，中心化操作并不会影响模型的精度和稳定性，反而可以提高模型的精度和稳定性。通过规范化处理，可以将所有特征缩放到相同的尺度和范围，降低特征的重要性，从而提高模型的稳定性和可靠性。
StandardScaler和Normalizer和MinMaxScaler使用情况
pdn的博客
08-22 2524
#数据标准化 #StandardScaler (基于特征矩阵的列，将属性值转换至服从正态分布) #标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，将样本的特征值转换到同一量纲下 #常用与基于正态分布的算法，比如回归 #数据归一化 #MinMaxScaler （区间缩放，基于最大最小值，将数据转换到0,1区间上的） #提升模型收敛速度，提升模型精度。因为以前在描述梯度下降的时候，如果...
Spark MLIB的Normalizer、StandardScaler、MinMaxScaler、RobustScaler这个特征处理方法有什么不同
alike_u的博客
06-09 939
一、特征处理方法 机器学习当中最重要的就是寻找数据的特征，给数据打标签。那么在SparkMLIB中提供了 package org.apache.spark.ml.feature
Spark ML机器学习：标准化-StandardScaler
大模型大数据攻城狮的专栏
02-14 4029
1 动机     对于同一个特征，不同的样本中的取值可能会相差非常大，一些异常小或异常大的数据会误导模型的正确训练；另外，如果数据的分布很分散也会影响训练结果。以上两种方式都体现在方差会非常大。此时，我们可以将特征中的值进行标准差标准化，即转换为均值为0，方差为1的正态分布。如果特征非常稀疏，并且有大量的0（现实应用中很多特征都具有这个特点），Z-score 标准化的过程几乎就是一个除0的过程，...
spark ml 归一化操作完整版
lirika_777的博客
05-11 567
话不多说，上代码 val docTopicData = sc.textFile("src\\main\\resources\\model\\111.txt", 1) .map(s => Vectors.dense(s.split(' ').map(_.toDouble))) import spark.implicits._ val docTopicDF = do...
StandardScaler/MinMaxScaler/Normalizer之间的区别
wugrand的博客
11-01 896
一、数据标准化 StandardScaler (基于特征矩阵的列，将属性值转换至服从正态分布) 标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，将样本的特征值转换到同一量纲下 常用与基于正态分布的算法，比如回归 二、数据归一化 MinMaxScaler （区间缩放，基于最大最小值，将数据转换到**[0,1]**区间上的） 提升模型收敛速度，提升模型精度 常见用于神经网络 三、MaxAbsScaler： 归一到 [ -1，1 ] 适用于有正值、负值的情况下 四、Normalizer （基于矩阵
Spark Mllib里使用贝氏二元分类时如何将数值特征字段用StandardScaler进行标准化（图文详解）...
weixin_33720956的博客
09-01 132
      　　不多说，直接上干货！    　　NaiveBayes数值特征字段一定要大于0，所以加入下述命令将负数转换为0。      　　朴素贝叶斯分类算法在进行数据标准化时，参数withMean必须设置为false。     　　具体，见 Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第16章 朴素贝叶斯二元分类算法来预测分类StumbleUpon...
normalizer = MinMaxScaler()
07-08
MinMaxScaler是一种常用的数据归一化方法，在机器学习中经常被用来将数据缩放到一个特定的范围。它通过对原始数据进行线性变换，将数据缩放到给定的最小值和最大值之间。这样做的好处是可以消除不同特征之间的量纲差异，使得模型更加稳定和可靠。 具体使用方法如下： 1. 导入MinMaxScaler类： ```python from sklearn.preprocessing import MinMaxScaler ``` 2. 创建MinMaxScaler对象： ```python normalizer = MinMaxScaler() ``` 3. 调用fit_transform方法对数据进行归一化： ```python normalized_data = normalizer.fit_transform(data) ``` 其中，data是一个二维数组或矩阵，表示原始数据集。 4. 可选步骤，如果需要将归一化后的数据还原回原始数据范围： ```python original_data = normalizer.inverse_transform(normalized_data) ``` 这里的normalized_data是归一化后的数据集。 需要注意的是，MinMaxScaler默认将数据缩放到0和1之间。如果需要将数据缩放到其他范围，可以使用MinMaxScaler类的feature_range参数来指定范围，例如： ```python normalizer = MinMaxScaler(feature_range=(0, 10)) ``` 这样会将数据缩放到0和10之间。 请注意，以上是一种常见的归一化方法，根据具体情况，你可能需要选择适合你数据的其他归一化方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值