sklearn.preprocessing模块介绍

最新推荐文章于 2024-04-27 15:28:25 发布
最新推荐文章于 2024-04-27 15:28:25 发布
阅读量3.6k 收藏 18
点赞数 3
分类专栏： # python库 文章标签： sklearn 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29983883/article/details/131485564
版权

数据预处理

Binarizer: 二值化

用于将数值特征二值化。它将特征值与给定的阈值进行比较，并将特征值转换为布尔值（0 或 1），取决于特征值是否超过阈值

Binarizer(*, threshold=0.0, copy=True)

参数：

  • threshold：指定阈值，默认为 0.0。特征值大于阈值的将被置为 1，小于或等于阈值的将被置为 0。
  • copy：是否创建输入数据的副本，默认为 True。
from sklearn.preprocessing import Binarizer
import numpy as np

# 创建带有数值特征的数据
X = np.array([[1.5], [2.7], [0.3]])

# 创建 Binarizer 对象
binarizer = Binarizer(threshold=1.0)

# 使用阈值对特征进行二值化
binary_data = binarizer.transform(X)

print(binary_data)

输出结果
在这里插入图片描述

MaxAbsScaler: 最大绝对值缩放

用于通过除以每个特征的最大绝对值来缩放数据，将数据的范围限制在 [-1, 1] 之间。它是一种无中心化的缩放方法，保留了数据的原始分布形状。
MaxAbsScaler 的特点是它保留了数据的原始分布形状，并将每个特征的值映射到 [-1, 1] 的范围内。这在某些情况下对于特征缩放非常有用，例如在稀疏数据或特征值有较大差异的情况下。

from sklearn.preprocessing import MaxAbsScaler
import numpy as np

# 创建带有数值特征的数据
X = np.array([[1, 5], [3, 4], [5, -6]])

# 创建 MaxAbsScaler 对象
scaler = MaxAbsScaler()

# 使用最大绝对值进行缩放
scaled_data = scaler.fit_transform(X)

print(scaled_data)

输出结果
在这里插入图片描述

MinMaxScaler: 最小-最大缩放

通过缩放数据将每个特征的值限定在给定的范围内，默认为 [0, 1]。它将每个特征的值映射到指定的范围内，保留了数据的原始分布形状
MinMaxScaler 的特点是它将数据的值映射到指定的范围内，并保留了数据的原始分布形状。这种缩放方法常用于需要将特征值限定在一定范围内的情况，例如神经网络训练或特征工程中的数据标准化处理

MinMaxScaler(feature_range=(0, 1), *, copy=True, clip=False)

参数介绍

  • feature_range：指定特征值的范围，默认为 [0, 1]
from sklearn.preprocessing import MinMaxScaler
import numpy as np

# 创建带有数值特征的数据
X = np.array([[1, 2], [3, 4], [5, 6]])

# 创建 MinMaxScaler 对象
scaler = MinMaxScaler(feature_range=(0, 1))

# 使用最小值和最大值进行缩放
scaled_data = scaler.fit_transform(X)

print(scaled_data)

结果
在这里插入图片描述

Normalizer: 归一化

它的作用是将每个样本的特征向量转换为具有相同单位长度的向量。这意味着归一化后的每个样本都位于一个共同的单位球上，其欧几里得范数（L2范数）为1。

归一化是数据预处理的一种常见技术，特别适用于需要计算样本之间的相似性或距离的任务。通过归一化处理，可以消除特征之间的尺度差异，确保每个样本的特征向量具有相同的单位长度。这对于许多机器学习算法和模型是重要的，因为它可以改善算法的收敛性和性能。

归一化过程的原理是通过对特征向量的每个元素进行缩放，使得整个特征向量的范数等于1。在 Normalizer 中，有三种归一化的范数类型可供选择：L1范数归一化（norm=‘l1’）、L2范数归一化（norm=‘l2’）、Max范数归一化（norm=‘max’）

from sklearn.preprocessing import Normalizer
import numpy as np

# 创建带有数值特征的数据
X = np.array([[1, 2], [3, 4], [5, 6]])

# 创建 Normalizer 对象
normalizer = Normalizer(norm='l2')

# 对输入数据进行归一化处理
normalized_data = normalizer.transform(X)

print(normalized_data)

StandardScaler: 标准化

用于对数据进行标准化处理。标准化是一种常见的数据预处理技术，旨在消除特征之间的尺度差异，使得数据的分布符合标准正态分布（均值为0，标准差为1）
标准化的原理是将数据进行中心化（去均值）和缩放为单位方差的过程。具体而言，对于每个特征，标准化将其值减去均值，然后除以标准差。这使得特征的值在整个数据集上具有零均值和单位方差，将数据的分布调整为标准正态分布。标准化后的数据具有更好的可比性和可解释性，并且适用于许多机器学习算法和模型。

StandardScaler(*, copy=True, with_mean=True, with_std=True)
  • with_mean：是否将数据中心化（去均值），默认为 True。
  • with_std：是否将数据缩放为单位方差，即除以标准差，默认为 True
from sklearn.preprocessing import StandardScaler
import numpy as np

# 创建带有数值特征的数据
X = np.array([[1, 2], [3, 4], [5, 6]])

# 创建 StandardScaler 对象
scaler = StandardScaler()

# 对输入数据进行标准化处理
scaled_data = scaler.fit_transform(X)

print(scaled_data)

结果
在这里插入图片描述

QuantileTransformer: 分位数转换

RobustScaler: 鲁棒缩放

，用于对数据进行缩放和中心化处理。它通过对数据进行缩放和平移，使得数据在存在异常值的情况下能够更好地适应模型的训练

RobustScaler(
    *,
    with_centering=True,
    with_scaling=True,
    quantile_range=(25.0, 75.0),
    copy=True,
    unit_variance=False,
)

参数：

  • with_centering：指定是否进行中心化处理，默认为 True。
  • with_scaling：指定是否进行缩放处理，默认为 True。
  • quantile_range：指定缩放范围的分位数范围，默认为 (25.0, 75.0)。
from sklearn.preprocessing import RobustScaler
import numpy as np

# 创建示例数据
X = np.array([[1.0, 2.0, 3.0],
              [4.0, 6.0, 8.0],
              [10.0, 12.0, 14.0],
              [16.0, 18.0, 20.0]])

# 创建 RobustScaler 对象
scaler = RobustScaler()

# 对数据进行缩放和中心化处理
scaled_data = scaler.fit_transform(X)

print(scaled_data)

执行结果
在这里插入图片描述

PowerTransformer: 幂变换

KernelCenterer: 中心化数据

标签处理：

Binarizer: 标签二值化

同上

LabelBinarizer: 标签二进制化

用于将分类变量进行二进制编码。它将每个类别转换为一个二进制向量，其中只有一个元素为 1，表示该类别，其他元素为 0

from sklearn.preprocessing import LabelBinarizer

# 创建包含类别标签的数据
y = ['cat', 'dog', 'cat', 'bird']

# 创建 LabelBinarizer 对象
binarizer = LabelBinarizer()

# 对类别标签进行二进制编码
binary_labels = binarizer.fit_transform(y)

print(binary_labels)

执行结果
在这里插入图片描述

LabelEncoder: 标签编码

用于对分类变量进行整数编码。它将每个类别标签映射到一个整数，从 0 开始递增

from sklearn.preprocessing import LabelEncoder

# 创建包含类别标签的数据
y = ['cat', 'dog', 'cat', 'bird']

# 创建 LabelEncoder 对象
encoder = LabelEncoder()

# 对类别标签进行整数编码
encoded_labels = encoder.fit_transform(y)

print(encoded_labels)

执行结果
在这里插入图片描述

MultiLabelBinarizer: 多标签二进制化

，用于对多标签分类问题中的类别标签进行二进制编码。它将每个样本的类别标签转换为一个二进制向量，其中每个元素表示一个可能的类别，如果样本属于该类别，则对应元素为 1，否则为 0。

from sklearn.preprocessing import MultiLabelBinarizer

# 创建多标签分类问题的类别标签
y = [['cat', 'dog'], ['bird'], ['dog', 'bird']]

# 创建 MultiLabelBinarizer 对象
binarizer = MultiLabelBinarizer()

# 对类别标签进行二进制编码
binary_labels = binarizer.fit_transform(y)

print(binary_labels)

执行结果

在这里插入图片描述

数据变换：

FunctionTransformer: 自定义函数转换

KBinsDiscretizer: 定宽离散化

KernelPCA: 核主成分分析

LabelEncoder: 标签编码

MaxAbsScaler: 最大绝对值缩放

MinMaxScaler: 最小-最大缩放

Normalizer: 归一化

OneHotEncoder: 独热编码

用于对离散特征进行独热编码。它将每个离散特征的每个取值转换为一个二进制特征向量，其中只有一个元素为 1，表示该取值，其他元素为 0。

from sklearn.preprocessing import OneHotEncoder
import numpy as np

# 创建离散特征数据
X = np.array([['red', 'red', 'green'],
              ['blue', 'red', 'yellow'],
              ['green', 'yellow', 'blue']])

# 创建 OneHotEncoder 对象
encoder = OneHotEncoder()

# 对特征进行独热编码
encoded_features = encoder.fit_transform(X)

print(encoded_features.toarray())

执行结果
在这里插入图片描述

OrdinalEncoder: 有序编码

用于对离散特征进行序数编码。它将每个离散特征的每个取值映射为一个整数，从 0 开始递增。

from sklearn.preprocessing import OrdinalEncoder
import numpy as np

# 创建离散特征数据
X = np.array([['red', 'blue', 'green'],
              ['blue', 'red', 'yellow'],
              ['green', 'yellow', 'blue']])

# 创建 OrdinalEncoder 对象
encoder = OrdinalEncoder()

# 对特征进行序数编码
encoded_features = encoder.fit_transform(X)

print(encoded_features)

执行结果
在这里插入图片描述

ordinalEncoder与LabelEncoder区别

编码方式不同：
OrdinalEncoder 对每个特征的取值进行序数编码，将每个取值映射为一个整数。编码后的整数值的大小具有一定的顺序性，但不一定具有数值意义。
LabelEncoder 对每个类别标签进行整数编码，将每个类别标签映射为一个整数。编码后的整数值只是用来区分不同的类别，没有顺序或数值意义。
应用场景不同：
OrdinalEncoder 适用于处理多个离散特征的编码，每个特征的取值之间没有明确的类别关系，仅需将其映射为整数。
LabelEncoder 适用于处理单个分类变量的编码，其中类别之间没有明确的顺序关系。
处理方式不同：
OrdinalEncoder 适用于处理离散特征的编码，对于多个特征和多个类别标签，可以同时进行编码。
LabelEncoder 主要用于处理单个分类变量的编码，对于多个类别标签，需要对每个类别标签进行独立的编码。

PolynomialFeatures: 多项式特征生成

PowerTransformer: 幂变换

QuantileTransformer: 分位数转换

RobustScaler: 鲁棒缩放

StandardScaler: 标准化

小瓶盖的猪猪侠
关注
  • 3
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Data preprocessing.pdf
06-13
Data preprocessing.pdf
sklearn 的 Normalizer的L1和 L2
zjm750617105的专栏
09-06 6311
Normalizer 正则化，跟z-score，对数转换，指数转换 这种数据转换方式不同。 L1 norm 是指对每个样本的每一个元素都除以该样本的L1范数. L2 norm 是指对每个样本的每一个元素都除以该样本的L2范数. bag of words features need to normalize with L1 norm fisher vector features need...
sklearn.preprocessing中的标准化StandardScaler与scale的区别
Java/Python/大数据干货分享
01-29 653
标准化主要用于对样本数据在不同特征维度进行伸缩变换，目的是使得不同度量之间的特征具有可比性，同时不改变原始数据的分布一些机器学习算法对输入数据的规模和量纲非常敏感，如果输入数据的特征之间存在数量级差异，可能会影响算法的准确性和性能标准化处理的好处是我们在进行特征提取时，可以忽略不同特征之间由于噪声所导致的度量差异，而保留样本在各个维度上的信息分布，提高算法的准确性和性能，增加数据的可解释性计算数据列的算数平均值（mean）计算数据列的标准差/方差（std）scale()函数和。
sklearn实现数据标准化（Standardization）和归一化（Normalization）
asddoa的博客
02-04 1670
sklearn的标准化过程，即包括Z-Score标准化，也包括0-1标准化，并且即可以通过实用函数来进行标准化处理，同时也可以利用评估器来执行标准化过程。
sklearn.preprocessing.StandardScaler函数入门
抓饭不吃皮牙子
10-31 1700
在本篇文章中，我们学习了如何使用​​函数对数据进行特征缩放。特征缩放可以使得不同特征之间的差异更加明显，对后续的机器学习模型更加友好。通过​​fit​​和​​方法，我们可以轻松地实现特征缩放的过程。假设我们有一个数据集，其中包含房屋的面积（单位：平方米）、房间数和房价（单位：万元）。我们想要对这些特征进行缩放，使得它们处于相近的尺度上。# 创建一个随机的数据集# 创建StandardScaler对象然后，我们使用​Mean:[1. 1. 1.]# 创建LinearRegression对象。
sklearn的preprocessing
Facico的博客
09-23 379
preprocessing 缺失值的处理 简单的preprocessing直接用pandas,类似 dataO['Sex'] = dataO['Sex'].apply(lambda s: 1 if s == 'male' else 0) dataO["Age"] = dataO["Age"].fillna(dataO["Age"].median()) dataO["child"] = dataO["Age"].apply(lambda x: 1 if x < 15 else 0) dataO["Emb
数据预处理（sklearn.preprocessing）
平凡简单的执着
03-11 1万+
前言 数据预处理的工具有许多，在我看来主要有两种：pandas数据预处理和scikit-learn中的sklearn.preprocessing数据预处理。 前面更新的博客中，我已有具体的根据pandas来对数据进行预处理，原文请点击这里。其中主要知识点包括一下几个方面： 数据的集成：merge、concat、join、combine_first； 数据类型转换：字符串处理（正则表达式）、数据类...
sklearn 中的preprocessing数据预处理
lilong117194的博客
10-06 5267
sklearn preprocessing Standardization即标准化，尽量将数据转化为均值为零，方差为一的数据，形如标准正态分布（高斯分布）。实际中我们会忽略数据的分布情况，仅仅是通过改变均值来集中数据，然后将非连续特征除以他们的标准差。 一、标准化，均值去除和按方差比例缩放 数据集的标准化：当个体特征太过或明显不遵从高斯正态分布时，标准化表现的效果较差。实际操作中，经常忽略特征数据...
Scikit-learn：数据预处理Preprocessing data
皮皮blog
08-19 2万+
http://blog.csdn.net/pipisorry/article/details/52247679 本blog内容有特征预处理（标准化、归一化、正则化、特征二值化、缺失值处理）和标签label预处理（label二值化、multi-label多值化）。 特征的预处理 基础知识参考 [数据标准化/归一化normalization ] [均值、方差与协方差矩阵 ] ...
预处理数据的方法总结（使用sklearn-preprocessing）
热门推荐
小强博客
09-20 10万+
预处理数预处理数据的方法总结（使用sklearn-preprocessing） 当我们拿到一批原始的数据 首先要明确有多少特征，哪些是连续的，哪些是类别的。 检查有没有缺失值，对确实的特征选择恰当方式进行弥补，使数据完整。 对连续的数值型特征进行标准化，使得均值为0，方差为1。 对类别型的特征进行one-hot编码。 将需要转换成类别型数据的连续型数据进行二值化。 为防止过拟合或...
API详解sklearn.preprocessing.StandardScaler
Sehr Gut
03-06 1万+
数据在前处理的时候，经常会涉及到数据标准化。将现有的数据通过某种关系，映射到某一空间内。常用的标准化方式是,减去平均值，然后通过标准差映射到均至为0的空间内。系统会记录每个输入参数的平均数和标准差，以便数据可以还原。 很多ML的算法要求训练的输入参数的平均值是0并且有相同阶数的方差例如:RBF核的SVM，L1和L2正则的线性回归 sklearn.preprocessing.StandardSc...
sklearn：sklearn.preprocessing的MinMaxScaler简介、使用方法之详细攻略
12-22
sklearn：sklearn.preprocessing的MinMaxScaler简介、使用方法之详细攻略 目录 MinMaxScaler简介 MinMaxScaler函数解释 MinMaxScaler底层代码 MinMaxScaler的使用方法 1、基础案例 MinMaxScaler简介 MinMaxScaler...
keras.preprocessing.text对应的文件text.py
03-19
keras.preprocessing.text对应的文件text.py
浅谈cv2.imread()和keras.preprocessing中的image.load_img()区别
09-16
主要介绍了浅谈cv2.imread()和keras.preprocessing中的image.load_img()区别说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Data Preprocessing.pdf
03-06
Data preprocessing is one of the most data mining steps which dealswith data preparation and trans formation of the dataset and seeks at the same time to make know ledgediscovery more efficient....
K-近邻算法的 sklearn 实现
cnn-jxx的博客
04-23 811
【实验+代码】K-近邻算法的 sklearn 实现。
从零开始的机器学习之旅：探索Sklearn基础教程
windrainpy的博客
04-23 442
Scikit-learn是一个开源的Python机器学习库，它建立在NumPy、SciPy和Matplotlib之上，提供了简单而高效的数据挖掘和数据分析工具。Sklearn库包含了各种监督学习、无监督学习和数据预处理算法，涵盖了机器学习中的各个方面，如分类、回归、聚类、降维等。通过本教程，我们简要介绍了Sklearn库的基础知识，并演示了如何使用Sklearn构建一个简单的机器学习模型。Sklearn提供了丰富的工具和资源，能够帮助你更轻松地探索和实践各种机器学习算法。
sklearn 笔记 metrics
qq_40206371的博客
04-23 1279
在多标签分类中，此函数计算子集准确率：y_pred的标签集必须与 y_true 中的相应标签集完全匹配。
Perfectly Clear Workbench for mac/win：让图像清晰不再是难题
最新发布
2401_82627223的博客
04-27 379
Perfectly Clear Workbench是一款功能强大、操作简便的图像清晰处理软件。它不仅能够满足专业摄影师的高标准需求，也能让业余爱好者轻松提升作品质量。
sklearn.preprocessing安装
09-09
要安装 scikit-learn 的 preprocessing 模块，您可以使用以下命令： ``` pip install scikit-learn ``` 安装完成后，您就可以在代码中引入 preprocessing 模块： ``` from sklearn import preprocessing ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值