机器学习的第一步：数据预处理

最新推荐文章于 2024-05-24 22:21:58 发布

iterate7

最新推荐文章于 2024-05-24 22:21:58 发布

阅读量1k

点赞数 6

分类专栏：基础知识数据挖掘文章标签： sklearn preprocess 预处理正则化归一化

本文链接：https://blog.csdn.net/iterate7/article/details/102125193

版权

本文介绍了机器学习中数据预处理的重要步骤，包括使用sklearn库进行标准化（z-score）、归一化、正则化以及one-hot编码的操作。标准化通过减去均值并除以标准差使数据集中在0附近，方差为1；归一化将数据缩放至0-1之间；正则化利用p范数实现向量的规范化；one-hot编码用于将分类数据转化为可计算的01向量。这些预处理方法有助于后续的机器学习任务，提高计算效率和模型性能。

摘要由CSDN通过智能技术生成

背景

所谓的机器学习，目前还是基于统计的，有监督的。所以数据的预处理则显得尤其重要。
今天我们利用sklearn的preprocess来进行数据的预处理。

以前写过一篇关于特征缩放的，其实本质也是特征预处理，使得标准化。

这里主要是巩固，同时结合sklearn里的代码来实操。

预处理之：标准化z-score

方法

$\dfrac{x - \mu}{\sigma}$
翻译公式为：(x-mean)/std 计算时对每个属性/每列分别进行。

意义

将数据按期属性（按列进行）减去其均值，并处以其方差。得到的结果是，对于每个属性/每列来说所有数据都聚集在0附近，方差为1。

实战

import sklearn.preprocessing as preprocessor
scaler = preprocessor.StandardScaler()
z_x = scaler.fit_transform(x) #标准化
print(z_x)
print("mean:",z_x.mean(axis=0))
print("std:",z_x.std(axis=0))