Sklearn中fit、fit_transform 和transform的功能区别

原文参考stackoverflow的回答,原文解释很清楚,英文好的同学可以前往自行阅读:

stackoverflow对三个方法的解释

在机器学习建模前,一般要对数据进行归一化、独热编码、填充缺失值(sklearn.impute.SimpleImputer)等操作。设置预处理操作后,一般要使用fit_transform()方法对数据进行处理,在查看官方文档时,发现有fit、fit_transform和transform,下面介绍一下三者的区别:


再开始之前,先陈述一个机器学习预处理的流程:如果想要对某一列数据做一些归一化处理,需要先计算出这列数据的均值、最大值、最小值等统计数据。然后对每个数据分别进行归一化处理。所以归一化处理分为两步:获取归一化参数、归一化处理。

  • fit():  从原数据获取归一化、缺失值填充等功能所需的必要参数。换句话说:我想使用某一列的均值填充该列的缺失值,那么缺失值是多少呢?就要通过fit方法计算出来。
  • transform():根据fit方法获得的预处理必要参数,对数据进行处理。所以transform经常和fit一起使用。
  • fit_transform():理解了上面两个方法,fit_transform的功能就很清楚了。就是先获取预处理数据需要的必要参数,再对数据进行预处理。

需要注意的是:一般对训练集做fit+transform处理,对测试集仅作transform处理。

有人会问:为什么不同样对测试集做fit+transform处理?因为测试集的特征分布是未知的,为了保证模型的良好性能,应当使用训练集的预处理参数对测试集做预处理。

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值