机器学习--数据预处理

归一化

  • 目的
    使得单一特征对于最后的结果影响不太大,尤其是错误值
    在这里插入图片描述
  • API
    在这里插入图片描述
  • 代码演示
from sklearn.preprocessing import MinMaxScaler


def mm():
    mm = MinMaxScaler()

    data = mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]])

    print(data)

    return None

if __name__ == '__main__':
    mm()
  • 问题:如果数据中异常点较多,会有什么影响
    对于最大值或者最小值会产生影响,也就对于归一化过程产生影响,所以这种归一化方法的鲁棒性比较差,只适合传统精确小数据场景

标准化

  • 目的:通过对原始数据进行变换把数据变换到均值为0,标准差为1范围内,如果出现异常点,由于具有一定的数据量,少量的异常点对于平均值的影响并不大,从而方差改变较小
    在这里插入图片描述
  • API
    在这里插入图片描述
  • 代码演示
from sklearn.preprocessing import StandardScaler


def stand():
    std = StandardScaler()

    data = std.fit_transform([[1,-1,3], [2,4,2], [4,6,-1]])

    print(data)

    return None

if __name__ == '__main__':
    stand()
  • 总结
    在已有样本足够多的情况下比较稳定,适合现在嘈杂大数据场景
    一般都是进行标准化处理,而非归一化处理

缺失值处理

  • 删除或者插补
    在这里插入图片描述
    在这里插入图片描述
    一般使用pandas:dropna,fillna
    但是要求数据格式为np.nan float类型

replace(“?”,np.nan)进行替换后使用fit_transform进行操作

  • 代码演示
from sklearn.preprocessing import Imputer
import numpy as np


def im():
    im = Imputer(missing_values='NaN',strategy='mean',axis=0)
    
    data = im.fit_transform([[1,2],[np.nan,3],[7,6]])

    print(data)

    return None

if __name__ == '__main__':
    im()
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值