数据预处理

最新推荐文章于 2024-01-17 21:10:02 发布

银河系少女

最新推荐文章于 2024-01-17 21:10:02 发布

阅读量1k

点赞数

分类专栏：数据分析

本文链接：https://blog.csdn.net/MATLAB678/article/details/89016662

版权

本文介绍了数据预处理的关键步骤，包括使用Python中的Numpy、Matplotlib和Pandas库读取数据，处理缺失值，通过均值填充，编码属性数据，创建哑变量，以及进行训练集和测试集的划分。最后，讨论了特征缩放的重要性，以应对数据范围差异大的问题。

摘要由CSDN通过智能技术生成

1.导入

python中的三个库（Numpy、Matplotlib、Pandas）

import numpy as ap
import matplotlib.pyplot as plt
import pandas as pd

读入数据集

dataset=pd.read_csv(data.csv)

在这里插入图片描述
创建矩阵保存自变量

X=dataset.iloc[:,:-1].values
#第一个：表示提取全部行，:-1表示提取除最后一列以外的所有列，.values提取所有值
Y=dataset.iloc[:,3].values
#提取最后一列，索引从0开始

2.处理缺失数据

填充缺失值，最常用的是用其所在列的均值来填充

from sklearn.preprocessing import Imputer
imputer=Imputer(missing_values=np.nan,strategy='mean',axis=0)
#利用scikit-learn预处理模型中的inputer类
imputer=imputer.fit(X[:,1:3])
#在数据缺失的列上拟合imputer
X[:,1:3]=imputer.transform(X[:,1:3])
#调用方法填充缺失值