Scikit-learn中的Scaler

最新推荐文章于 2022-10-11 18:26:07 发布
最新推荐文章于 2022-10-11 18:26:07 发布
阅读量116 收藏
点赞数
文章标签： scikit-learn 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51713698/article/details/125546629
版权

Scikit-learn中的Scaler

import numpy as np
from sklearn import datasets

iris = datasets.load_iris()

X = iris.data
y = iris.target

X[:10,:]

array([[5.1, 3.5, 1.4, 0.2],
       [4.9, 3. , 1.4, 0.2],
       [4.7, 3.2, 1.3, 0.2],
       [4.6, 3.1, 1.5, 0.2],
       [5. , 3.6, 1.4, 0.2],
       [5.4, 3.9, 1.7, 0.4],
       [4.6, 3.4, 1.4, 0.3],
       [5. , 3.4, 1.5, 0.2],
       [4.4, 2.9, 1.4, 0.2],
       [4.9, 3.1, 1.5, 0.1]])

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=666)

scikit-learn中的StandardScaler

from sklearn.preprocessing import StandardScaler 

standardScalar = StandardScaler() 

standardScalar.fit(X_train)

StandardScaler()

standardScalar.mean_

array([5.83416667, 3.08666667, 3.70833333, 1.17      ])

standardScalar.scale_

array([0.81019502, 0.44327067, 1.76401924, 0.75317107])

standardScalar.transform(X_train)

array([[-0.90616043,  0.93246262, -1.30856471, -1.28788802],
       [-1.15301457, -0.19551636, -1.30856471, -1.28788802],
       [-0.16559799, -0.64670795,  0.22203084,  0.17260355],
       [ 0.45153738,  0.70686683,  0.95898425,  1.50032315],
       [-0.90616043, -1.32349533, -0.40154513, -0.09294037],
       [ 1.43895396,  0.25567524,  0.56216318,  0.30537551],
       [ 0.3281103 , -1.09789954,  1.0723617 ,  0.30537551],
       [ 2.1795164 , -0.19551636,  1.63924894,  1.23477923],
       [-0.78273335,  2.2860374 , -1.25187599, -1.42065998],
       [ 0.45153738, -2.00028272,  0.44878573,  0.43814747],
       [ 1.80923518, -0.42111215,  1.46918276,  0.83646335],
       [ 0.69839152,  0.25567524,  0.90229552,  1.50032315],
       [ 0.20468323,  0.70686683,  0.44878573,  0.57091943],
       [-0.78273335, -0.87230374,  0.10865339,  0.30537551],
       [-0.53587921,  1.38365421, -1.25187599, -1.28788802],
       [-0.65930628,  1.38365421, -1.25187599, -1.28788802],
       [-1.0295875 ,  0.93246262, -1.19518726, -0.75680017],
       [-1.77014994, -0.42111215, -1.30856471, -1.28788802],
       [-0.04217092, -0.87230374,  0.10865339,  0.03983159],
       [-0.78273335,  0.70686683, -1.30856471, -1.28788802],
       [-1.52329579,  0.70686683, -1.30856471, -1.15511606],
       [ 0.82181859,  0.25567524,  0.78891808,  1.10200727],
       [-0.16559799, -0.42111215,  0.27871956,  0.17260355],
       [ 0.94524567, -0.19551636,  0.39209701,  0.30537551],
       [ 0.20468323, -0.42111215,  0.44878573,  0.43814747],
       [-1.39986872,  0.25567524, -1.19518726, -1.28788802],
       [-1.15301457,  1.15805842, -1.30856471, -1.42065998],
       [ 1.06867274,  0.03007944,  1.0723617 ,  1.63309511],
       [ 0.57496445, -0.87230374,  0.67554063,  0.83646335],
       [ 0.3281103 , -0.64670795,  0.56216318,  0.03983159],
       [ 0.45153738, -0.64670795,  0.6188519 ,  0.83646335],
       [-0.16559799,  2.96282478, -1.25187599, -1.0223441 ],
       [ 0.57496445, -1.32349533,  0.67554063,  0.43814747],
       [ 0.69839152, -0.42111215,  0.33540828,  0.17260355],
       [-0.90616043,  1.60925001, -1.02512109, -1.0223441 ],
       [ 1.19209981, -0.64670795,  0.6188519 ,  0.30537551],
       [-0.90616043,  0.93246262, -1.30856471, -1.15511606],
       [-1.89357701, -0.19551636, -1.47863088, -1.42065998],
       [ 0.08125616, -0.19551636,  0.78891808,  0.83646335],
       [ 0.69839152, -0.64670795,  1.0723617 ,  1.23477923],
       [-0.28902506, -0.64670795,  0.67554063,  1.10200727],
       [-0.41245214, -1.54909113, -0.00472406, -0.22571233],
       [ 1.31552689,  0.03007944,  0.67554063,  0.43814747],
       [ 0.57496445,  0.70686683,  1.0723617 ,  1.63309511],
       [ 0.82181859, -0.19551636,  1.18573914,  1.36755119],
       [-0.16559799,  1.60925001, -1.13849854, -1.15511606],
       [ 0.94524567, -0.42111215,  0.50547446,  0.17260355],
       [ 1.06867274,  0.48127103,  1.12905042,  1.76586707],
       [-1.27644165, -0.19551636, -1.30856471, -1.42065998],
       [-1.0295875 ,  1.15805842, -1.30856471, -1.28788802],
       [ 0.20468323, -0.19551636,  0.6188519 ,  0.83646335],
       [-1.0295875 , -0.19551636, -1.19518726, -1.28788802],
       [ 0.3281103 , -0.19551636,  0.67554063,  0.83646335],
       [ 0.69839152,  0.03007944,  1.01567297,  0.83646335],
       [-0.90616043,  1.38365421, -1.25187599, -1.0223441 ],
       [-0.16559799, -0.19551636,  0.27871956,  0.03983159],
       [-1.0295875 ,  0.93246262, -1.36525344, -1.15511606],
       [-0.90616043,  1.60925001, -1.25187599, -1.15511606],
       [-1.52329579,  0.25567524, -1.30856471, -1.28788802],
       [-0.53587921, -0.19551636,  0.44878573,  0.43814747],
       [ 0.82181859, -0.64670795,  0.50547446,  0.43814747],
       [ 0.3281103 , -0.64670795,  0.16534211,  0.17260355],
       [-1.27644165,  0.70686683, -1.19518726, -1.28788802],
       [-0.90616043,  0.48127103, -1.13849854, -0.88957213],
       [-0.04217092, -0.87230374,  0.78891808,  0.96923531],
       [-0.28902506, -0.19551636,  0.22203084,  0.17260355],
       [ 0.57496445, -0.64670795,  0.78891808,  0.43814747],
       [ 1.06867274,  0.48127103,  1.12905042,  1.23477923],
       [ 1.68580811, -0.19551636,  1.18573914,  0.57091943],
       [ 1.06867274, -0.19551636,  0.8456068 ,  1.50032315],
       [-1.15301457,  0.03007944, -1.25187599, -1.42065998],
       [-1.15301457, -1.32349533,  0.44878573,  0.70369139],
       [-0.16559799, -1.32349533,  0.73222935,  1.10200727],
       [-1.15301457, -1.54909113, -0.23147896, -0.22571233],
       [-0.41245214, -1.54909113,  0.05196466, -0.09294037],
       [ 1.06867274, -1.32349533,  1.18573914,  0.83646335],
       [ 0.82181859, -0.19551636,  1.01567297,  0.83646335],
       [-0.16559799, -1.09789954, -0.11810151, -0.22571233],
       [ 0.20468323, -2.00028272,  0.73222935,  0.43814747],
       [ 1.06867274,  0.03007944,  0.56216318,  0.43814747],
       [-1.15301457,  0.03007944, -1.25187599, -1.28788802],
       [ 0.57496445, -1.32349533,  0.73222935,  0.96923531],
       [-1.39986872,  0.25567524, -1.36525344, -1.28788802],
       [ 0.20468323, -0.87230374,  0.78891808,  0.57091943],
       [-0.04217092, -1.09789954,  0.16534211,  0.03983159],
       [ 1.31552689,  0.25567524,  1.12905042,  1.50032315],
       [-1.77014994, -0.19551636, -1.36525344, -1.28788802],
       [ 1.56238103, -0.19551636,  1.24242787,  1.23477923],
       [ 1.19209981,  0.25567524,  1.24242787,  1.50032315],
       [-0.78273335,  0.93246262, -1.25187599, -1.28788802],
       [ 2.54979762,  1.60925001,  1.52587149,  1.10200727],
       [ 0.69839152, -0.64670795,  1.0723617 ,  1.36755119],
       [-0.28902506, -0.42111215, -0.06141278,  0.17260355],
       [-0.41245214,  2.51163319, -1.30856471, -1.28788802],
       [-1.27644165, -0.19551636, -1.30856471, -1.15511606],
       [ 0.57496445, -0.42111215,  1.0723617 ,  0.83646335],
       [-1.77014994,  0.25567524, -1.36525344, -1.28788802],
       [-0.53587921,  1.8348458 , -1.13849854, -1.0223441 ],
       [-1.0295875 ,  0.70686683, -1.19518726, -1.0223441 ],
       [ 1.06867274, -0.19551636,  0.73222935,  0.70369139],
       [-0.53587921,  1.8348458 , -1.36525344, -1.0223441 ],
       [ 2.30294347, -0.64670795,  1.69593766,  1.10200727],
       [-0.28902506, -0.87230374,  0.27871956,  0.17260355],
       [ 1.19209981, -0.19551636,  1.01567297,  1.23477923],
       [-0.41245214,  0.93246262, -1.36525344, -1.28788802],
       [-1.27644165,  0.70686683, -1.02512109, -1.28788802],
       [-0.53587921,  0.70686683, -1.13849854, -1.28788802],
       [ 2.30294347,  1.60925001,  1.69593766,  1.36755119],
       [ 1.31552689,  0.03007944,  0.95898425,  1.23477923],
       [-0.28902506, -1.32349533,  0.10865339, -0.09294037],
       [-0.90616043,  0.70686683, -1.25187599, -1.28788802],
       [-0.90616043,  1.60925001, -1.19518726, -1.28788802],
       [ 0.3281103 , -0.42111215,  0.56216318,  0.30537551],
       [-0.04217092,  2.0604416 , -1.42194216, -1.28788802],
       [-1.0295875 , -2.45147431, -0.11810151, -0.22571233],
       [ 0.69839152,  0.25567524,  0.44878573,  0.43814747],
       [ 0.3281103 , -0.19551636,  0.50547446,  0.30537551],
       [ 0.08125616,  0.25567524,  0.6188519 ,  0.83646335],
       [ 0.20468323, -2.00028272,  0.16534211, -0.22571233],
       [ 1.93266225, -0.64670795,  1.35580532,  0.96923531]])

X_train[:10,:]

array([[5.1, 3.5, 1.4, 0.2],
       [4.9, 3. , 1.4, 0.2],
       [5.7, 2.8, 4.1, 1.3],
       [6.2, 3.4, 5.4, 2.3],
       [5.1, 2.5, 3. , 1.1],
       [7. , 3.2, 4.7, 1.4],
       [6.1, 2.6, 5.6, 1.4],
       [7.6, 3. , 6.6, 2.1],
       [5.2, 4.1, 1.5, 0.1],
       [6.2, 2.2, 4.5, 1.5]])

X_train = standardScalar.transform(X_train)

X_train[:10,:]

array([[-0.90616043,  0.93246262, -1.30856471, -1.28788802],
       [-1.15301457, -0.19551636, -1.30856471, -1.28788802],
       [-0.16559799, -0.64670795,  0.22203084,  0.17260355],
       [ 0.45153738,  0.70686683,  0.95898425,  1.50032315],
       [-0.90616043, -1.32349533, -0.40154513, -0.09294037],
       [ 1.43895396,  0.25567524,  0.56216318,  0.30537551],
       [ 0.3281103 , -1.09789954,  1.0723617 ,  0.30537551],
       [ 2.1795164 , -0.19551636,  1.63924894,  1.23477923],
       [-0.78273335,  2.2860374 , -1.25187599, -1.42065998],
       [ 0.45153738, -2.00028272,  0.44878573,  0.43814747]])

X_test_standard = standardScalar.transform(X_test) 

X_test_standard[:10,:]

array([[-0.28902506, -0.19551636,  0.44878573,  0.43814747],
       [-0.04217092, -0.64670795,  0.78891808,  1.63309511],
       [-1.0295875 , -1.77468693, -0.23147896, -0.22571233],
       [-0.04217092, -0.87230374,  0.78891808,  0.96923531],
       [-1.52329579,  0.03007944, -1.25187599, -1.28788802],
       [-0.41245214, -1.32349533,  0.16534211,  0.17260355],
       [-0.16559799, -0.64670795,  0.44878573,  0.17260355],
       [ 0.82181859, -0.19551636,  0.8456068 ,  1.10200727],
       [ 0.57496445, -1.77468693,  0.39209701,  0.17260355],
       [-0.41245214, -1.09789954,  0.39209701,  0.03983159]])

使用归一化后的数据进行knn分类

from sklearn.neighbors import KNeighborsClassifier

knn_clf = KNeighborsClassifier(n_neighbors=3)

knn_clf.fit(X_train, y_train)

KNeighborsClassifier(n_neighbors=3)

knn_clf.score(X_test_standard, y_test)

1.0

knn_clf.score(X_test, y_test)

0.3333333333333333
plum-blossom
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
KNN， 数据归一化
无境
11-21 2249
KNN - K近邻算法 K-Nearest Neighbors 特点 思想极度简单 应用数学知识少 效果好（缺点？） 可以解释机器学习算法使用过程中的很多问题 更完整的刻画机器学习应用的流程 K近邻算法 取一个k值，假设k=3， 根据一个点A的位置，计算距离这个点最近的3（k）个点的的类型。来进行投票产生A的类型 计算距离： KNN的过程 import numpy as np from ...
机器学习 -- KNN算法（十三 使用归一化后的数据进行KNN算法分类）
Leo的博客
11-10 714
使用归一化后的数据进行KNN算法分类 1. 导入需要的模块和包： import numpy as np from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.neighbors import KNeighborsClassifier from sklearn...
《从Excel到R 数据分析进阶指南》一3.3 大小写转换
weixin_33974433的博客
05-02 198
本节书摘来自异步社区《从Excel到R 数据分析进阶指南》一书中的第3章，第3.3节，作者 王彦平（蓝鲸），更多章节内容可以访问云栖社区“异步社区”公众号查看 3.3 大小写转换 在英文字段中，字母的大小写不统一也是一个常见的问题。Excel中有UPPER、LOWER等函数，R中也有同名函数用来解决大小写的问题。在数据表的city列中就存在这样的问题。我...
sklearn笔记12 KNN数据归一化操作
weixin_44632711的博客
11-01 380
完整代码 sklearn8 6-KNN癌症诊断(3) 归一化的操作 X.head() 哪个数值更大，哪个数值越重要 # 归一化操作 X_norm1 = (X-X.min())/(X.max()-X.min()) X_norm1.head() X_train,X_test,y_train,y_test = train_test_split(X_norm1,y,test_size = 0.2) knn = KNeighborsClassifier() params = {'n_neighbors':
机器学习之K近邻(K-NN)算法 (一)
guowei_huai的博客
05-26 845
前言   kNN(k -Nearest Neighbours)算法是非常简单易懂的算法，它的适用范围很广，并且在样本量足够大的情况下获得很好的模型效果。它是一种用于分类和回归的非参数统计方法。   knn算法的理论和实战将会分为三个部分进行讲解，这是第一部分。 本部分具体内容如下： 讲解K-NN算法的基本概念、原理 k的选取、特征归一化 一、 k近邻算法的基础 参考维基百科，我们给出以下解释： 在k-NN分类中，输出是一个分类族群。一个对象的分类是由其邻居的"多数表决"确定的，k个最近邻中最多的分类决
Python库 | scikit-learn-0.24.2.tar.gz
05-21
资源分类：Python库 所属语言：Python 资源全名：scikit-learn-0.24.2.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
Scikit-learn 使用手册中文版.zip_SCIKIT-LEARN_Scikit-learn 使用手册中文版_sciki
07-15
Scikit-learn 使用手册中文版
scikit-survival：基于scikit-learn的生存分析
02-04
scikit-survival：基于scikit-learn的生存分析
Scikit-learn学习资料荟萃
10-31
从入门到精通，学习备查两相宜，资料目录： Mastering Machine Learning with scikit-learn(中文版).pdf； python_scikit-learn学习笔记.pdf； Scikit-learn 使用手册中文版.pdf； scikit-learn-docs.pdf；
scipy+scikit-learn组件
04-20
scipy+scikit-learn组件 适用于python3.6，64位，请注意版本 numpy太大，单独上传了
基于knn算法对minist手写数据集的分类
06-07
基于knn算法对minist手写数据集的分类，代码使用matlab程序，包含了.mat的数据集，对于k=1~120的测试结果，程序可直接运行
KNN算法数据归一化处理（持续更新中）
Ifordzhang的博客
05-07 1453
数据归一化处理 公式：（每个值-最小值）/（最大值-最小值） 数据归一化处理，不会改变数据原有的分布情况 模拟的数据集 data = [[-1,201],[-0.5,189],[0,199],[1,187],[1,200],[2,196]] data = pd.DataFrame(data) data 手动处理 以其中一列为例（具体根据业务场景） data[1] =(data[1]-data[1].min())/(data[1].max()-data[1].min()) data 使用sk
《机器学习实战》KNN
nlrkbqndrhh的博客
12-13 708
一.KNN简介 KNN(K-Nearest-Neighbor): 采用测量不同特征值间的距离或相似度的方法进行分类 1.算法原理： 存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签， 即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据 的每个特征与k个最相似的数据进行比较，选择k个数据中出现次数最多的分类，作为新数据 的分类 ...
机器学习 -- KNN算法（十一 数据归一化）
Leo的博客
11-09 2712
一. 为什么需要数据归一化？ 假设有如下数据，当我们在计算距离的时候会发现样本间的距离被发现时间所主导，此时就需要进行数据的归一化操作。 二. 归一化：将所有数据映射到同一尺度。 1. 最值归一化：将所有数据映射到0到1之间。 （1）适用场景：适用于分布有明显边界的情况；受outlier影响较大。 （2）计算公式： 2. 均值方差归一化（standardization）：...
归一化算法
weixin_45142381的博客
10-11 5684
本节是关于深度学习-归一化算法的相关内容。这是只简单记录部分知识，目的是方便以后复习。
机器学习实战1.3--KNN之归一化数值
beautiful77moon的博客
08-06 581
当根据数据集中提供的数据计算样本之间的距离时，可以使用欧式距离公式，例如： 很容易发现，上面方程中数字差值最大的属性对计算结果的影响最大。但是如果这三种特征同等重要，就需要对原始数据进行改进。 在处理这种不同取值范围的特征值时，我们通常采用的方法是将数值归一化，如将取值范围处理为0 - 1或-1 - 1之间。下面的公式可以将任意取值范围的特征值转化为0-1区间内的值： newValue=...
机器学习-kNN-数据归一化
taoke的博客
06-07 3420
机器学习-kNN-数据归一化 一、为什么需要数据归一化 　　不同数据之间因为单位不同，导致数值差距十分大，容易导致预测结果被某项数据主导，所以需要进行数据的归一化。 　　解决方案：将所有数据映射到同一尺度 二、最值归一化 normalization 　　最值归一化：把所有数据映射到0-1之间 　　 　　适用于分布有明显边界的情况；受ou...
1.8 KNN算法学习——数据归一化处理解决量纲不同的问题
热门推荐
qq_34734683的博客
03-12 1万+
多个特征时，其中某个特征数量级较大，其他较小时最后的分类结果会被该特征所主导，而弱化了其他特征的影响，这是因为各个特征的量纲不同所致，需要将数据进行归一化解决方案：将所有的数据映射到同一尺度#归一化方式一：最值归一化把所有的数据映射到0~1之间适用于有明显的边界，受outlier极端值影响较大,比如收入的分布#归一化方式二：均值-方差归一化把所有数据归一到均值为0方差为1的分布中归一化实现过程...
KNN算法的数据归一化--Feature Scaling
qq_33531400的博客
10-30 1816
如图1所示，假设现在有两个样本，分别拥有两个特征，如下：   肿瘤的大小（厘米）的 发现时间（天） 样本1 1 200 样本2 五 100 计算两个样本之间的欧拉距离： D =  ，这个计算结果很明显是被时间主导的。 所以，将时间以年为单位，那么两个样本之间的欧拉距离就是： D =  ，这个计算结果又很明显的是被肿瘤大小主导的。 根据这个问...
Scikit-learn 中的 AgglomerativeClustering
最新发布
06-03
AgglomerativeClustering 是 Scikit-learn 中的一个聚类算法，它属于层次聚类算法的一种，也叫做自底向上聚合算法。该算法的主要思想是将每个数据点看作一个单独的簇，然后将相似的簇合并成一个更大的簇，直到满足...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值