机器学习第一篇:数据预处理

#导入pandas库
import pandas as pd

#导入数据
data=pd.read_csv('Data.csv') 

#缺失值处理
data['Age']=data['Age'].fillna(data['Age'].mean())
data['Salary']=data['Salary'].fillna(data['Salary'].mean())

#提取数据
X = data.iloc[:, :-1]
y = data.iloc[:, 3]

#独热编码
X = pd.get_dummies(X)  

#标签编码
from sklearn.preprocessing import LabelEncoder   
le = LabelEncoder()
y = le.fit_transform(y) #就看成数据标准化的过程

#数据的拆分
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test=train_test_split(X,y,test_size=0.25,random_state=0) 

#数据标准化
from sklearn.preprocessing import StandardScaler  #标准化
from sklearn.preprocessing import MinMaxScaler    #0,1 标准化 
scaler=StandardScaler().fit(x_train)
x_train_scaled=scaler.transform(x_train)
x_test_scaled=scaler.transform(x_test)

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器学习中,数据预处理是非常重要的一步。其中,处理缺失值是数据预处理的一项重要任务。插补法是一种常用的处理缺失值的方法。它通过利用已有数据的信息,对缺失值进行估计或预测,从而填补缺失值。以下是一些常用的插补法: 1. 均值插补法 均值插补法是一种常用的插补法,它通过计算非缺失值的平均值来填补缺失值。这种方法对于连续变量非常有效,但对于分类变量不是很适用。 2. 中位数插补法 中位数插补法类似于均值插补法,但是使用的是中位数。这种方法对于连续变量非常有效,并且相对于均值插补法更稳健,因为它受到极端值的影响较小。 3. 众数插补法 众数插补法是用于分类变量的一种插补法。它通过计算非缺失值的众数来填补缺失值。这种方法对于分类变量非常有效,并且相对于均值插补法和中位数插补法更稳健。 4. 回归插补法 回归插补法是一种基于回归分析的插补法。它通过使用非缺失值来建立一个回归模型,然后使用模型来预测缺失值。这种方法对于连续变量非常有效,并且可以使用各种回归算法,如线性回归、多项式回归和决策树回归等。 5. K近邻插补法 K近邻插补法是一种基于相似性的插补法。它通过查找与缺失值最接近的K个非缺失值来预测缺失值。这种方法对于连续变量和分类变量都很有效,并且可以使用各种距离度量方法,如欧氏距离、曼哈顿距离和余弦相似度等。 需要注意的是,插补法只是一种处理缺失值的方法,它并不能保证预测的缺失值是准确的。因此,在使用插补法处理缺失值时,需要进行适当的评估和验证。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值