python中的scaler_【笔记】scikit-learn中的Scaler（归一化）

最新推荐文章于 2022-11-28 17:30:13 发布
最新推荐文章于 2022-11-28 17:30:13 发布
阅读量7.4k 收藏 17
点赞数
文章标签： python中的scaler
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_34803929/article/details/113502705
版权
本文介绍了在机器学习中如何使用scikit-learn的Scaler进行数据归一化，强调了不能直接用测试数据的均值和方差归一化，而应使用训练数据的统计信息。通过鸢尾花数据集展示了StandardScaler的使用步骤，并提醒在预测时测试数据也需要进行相同归一化处理，以保持准确性。
摘要由CSDN通过智能技术生成

scikit-learn中的数据归一化

在机器学习使用数据归一化的时候有一个重要的注意事项

我们对训练数据进行均值和方差的处理，得到mean_train以及std_train，但是在对测试数据进行归一化的时候，是不能直接用测试数据的均值和方差来进行归一化的，应该使用训练数据的均值和方差对测试数据进行均值方差归一化

1f7da2275385bb14d8ba6ceb1e55984a.png

为什么要这样做呢，我们训练这个模型是为了在真实的环境中去使用的，测试数据是模拟真实的环境，但是真实环境很有可能是没法得到所有的测试数据的均值和方差的，是很难得到这种统计数据的，另外，对数据的归一化也是算法的一部分，我们针对后面来的数据，应该也对其进行这样的处理

那么我们就必须要保存训练数据集得到的均值和方差

整体流程

554e5d7e098fa3b5d4a04bb7047fa739.png

实际操作(以鸢尾花为例)

x前十行的内容(并未进行归一化处理)

最低0.47元/天 解锁文章
绿皮工业
关注
  • 0
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
FFmpeg中 Scaler 使用文档介绍
人生只有一次，不妨大胆一点～～
06-04 268
FFmpeg中 Scaler 使用文档介绍
python数据预处理的方法_python中常用的九种数据预处理方法分享
weixin_39630909的博客
11-21 823
Spyder Ctrl + 4/5: 块注释/块反注释本文总结的是我们大家在python中常见的数据预处理方法，以下通过sklearn的preprocessing模块来介绍;1. 标准化（Standardization or Mean Removal and Variance Scaling)变换后各维特征有0均值，单位方差。也叫z-score规范化（零均值规范化）。计算方式是将特征值减去均值...
[云炬python3玩转机器学习]sklearn中的Scaler
科大云炬
01-16 467
08 Scikit-learn中的Scaler import numpy as np from sklearn import datasets import datetime print(datetime.datetime.now()) 2022-01-16 23:05:58.735705 iris = datasets.load_iris() X = iris.data y = iris.target X[:10,:] array([[5.1, 3.5, 1.4, ...
python中的scaler_python 数据预处理之 MinMaxScaler 可视化体验
weixin_39617113的博客
12-10 1435
from matplotlib.pyplot importas pltfrom sklearn.datasets importmake_blobsfrom sklearn.preprocessing importMinMaxScalerfrom sklearn.model_selection importtrain_test_split#构造数据X, _ = make_blobs(n_sample...
数据预处理——fit()函数，transform()函数，fit_transform()函数
weixin_42422540的博客
10-28 9558
fit()函数，transform()函数，fit_transform()函数
机器学习 —— Sklearn包中StandardScaler()、transform(）、fit()的详细介绍
杨老师的小跟班(*∩_∩*)
07-18 7519
机器学习 —— Sklearn包中StandardScaler()、transform(）、fit()的详细介绍。数据标准化
scikit-learn的Scaler
jhkj_5154的博客
03-23 638
具体将这种归一化算法用在我们机器学习过程中的时候有一个很重要的注意事项。对应我们原始数据集，我们要将他们拆分成训练数据集和测试数据集如果我们要用归一化数据来训练我们的模型显然我们先要对训练数据集进行归一化处理我们相应就要求出我们训练数据集对于的均值mean_train 方差std_train最终我们要那我们这个模型来预测数据，对于这个测试数据集也要进行归一化处理那么对于测试数据集如何归一化处理，（...
Python库 | scikit-misc-0.1.1.tar.gz
03-10
2. **数据转换**: 库内提供了数据预处理工具，如特征缩放、归一化、编码分类变量以及特征提取等，这些对于机器学习模型的训练至关重要。 3. **算法实现**: 包含一些基础的机器学习算法，如简单的分类和回归模型，...
Python数据科学速查表 - Scikit-Learn.pdf
08-19
Scikit-learn 提供了多种工具来对数据进行预处理，包括标准化、归一化等操作。这些步骤通常是在构建模型之前完成的。 ```python from sklearn.preprocessing import StandardScaler scaler = StandardScaler().fit...
gauss_rank_scaler：高斯秩缩放方法的Scikit-learn兼容实现
02-04
神经网络的输入归一化非常重要。 高斯等级是一种将数字变量分布转换为法线的有效算法。 它基于等级转换。 第一步是为排序后的erfinv分配-1和1之间的间距，然后应用误差函数erfinv的逆函数使其看起来像高斯erfinv 。...
PCA using Scikit-Learn_pca_python_
09-30
在Python中，Scikit-Learn库提供了PCA的实现，使得这个复杂的统计方法变得易于理解和使用。 在Scikit-Learn中，PCA类位于`sklearn.decomposition`模块下。首先，我们需要导入必要的库： ```python from sklearn....
sklearn-tutorial-master，sklearn安装scikit-learn 材料
02-08
Scikit-learn，通常简称为sklearn，是Python编程语言中的一个强大机器学习库，它提供了各种监督和无监督的学习算法，以及数据预处理、模型选择和评估工具。本教程将深入探讨sklearn的安装过程，并提供一些使用scikit...
python中的scaler_python – sklearn StandardScaler返回全零
weixin_39622747的博客
12-10 522
我从之前的模型中保存了一个sklearn StandardScaler,并尝试将其应用于新数据scaler = myOldStandardScalerprint("ORIG:", X)print("CLASS:", X.__class__)X = scaler.fit_transform(X)print("SCALED:", X)我有三个观察,每个观察2000个特征.如果我单独运行每个观察,我得到...
python中的scaler_使用时值错误scaler.inverse_变换在Python中
weixin_29117669的博客
02-03 2096
我是神经网络的初学者，对缩放矩阵后端的数学不是很了解scaler.inverse_变换. 我正在使用一个教程来对我的数据应用LSTM，并预测其中一个变量的时间序列。当我缩放时，我在预测上遇到了这个问题。代码如下。在我就是这样训练数据的。在from keras.models import Sequentialfrom keras.layers import Densefrom keras.layer...
python使用standarescaler()标准化数据框指定列
Charmmy77的博客
11-28 2946
（其实我一开始是想找到一个方法，能直接对数据框的列做归一化，并就地修改，但是我找不到，他貌似必须得先存为一个np然后再转为数据框，再跟原先的数据框拼接，最后还要把原来没归一化的列drop...加上查scaler函数的用法很多文章都是直接对np进行标准化，所以写一篇详细记录一下如果要对数据框的数据进行归一化如何具体实施）打算使用sklearn的MinMaxScaler（）对数据框x的'Age'列进行归一化，使其取值落在[0,1]，但是直接按照上文所运行发现报错，提示。本文记录如何对数据框的指定列进行归一化。
python中scale的用法_使用Python的scikit-learn进行特征缩放
weixin_39840616的博客
12-05 4942
归一化的主要目标之一是使数据接近零。这使得优化问题更加“数值稳定”。现在，使用均值和标准偏差的缩放比例假定数据是正态分布的，也就是说，大多数数据都足够接近均值。因此，将均值移到零可确保大多数数据点的大多数分量都接近于0。具体来说，从下图可以看出，68％的数据将在-1和1之间：在本文中，我们探讨了scikit-learn中实现的3种特征缩放方法：· StandardScaler· MinMaxSca...
python中scale函数_Python之 sklearn：sklearn中的RobustScaler 函数的简介及使用方法之详细攻略...
weixin_39737368的博客
12-03 1012
Notes-----For a comparison of the different scalers, transformers, and normalizers,see :ref:`examples/preprocessing/plot_all_scaling.py`.https://en.wikipedia.org/wiki/Medianhttps://en.wikipedia.org/w...
python中的数据标准化
热门推荐
L.Z.的博客
10-14 2万+
      我们在进行数据分析之前，一般需要将数据进行标准化。以便消除不同变量量纲的差异性。在python中进行数据标准化可以通过sklearn中的StandardScaler模块来实现。 1）模块的导入 我们可以通过下边的命令来导入StandardScaler模块   from sklearn.preprocessing import StandardScaler 2）常用函数...
Scikit-Learn中的一种数据归一化（normalization）类
最新发布
07-12
Scikit-Learn中的一种数据归一化类是`MinMaxScaler`。这个类可以将数据缩放到一个指定的范围内，通常是[0, 1]或者[-1, 1]。它通过计算每个特征的最小值和最大值，并将数据线性地映射到指定的范围内。你可以使用`fit_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值