数据清洗
一.什么是数据清洗
我们在获得原始数据之后,并不是一股脑的把这些数据全都拿来使用,实际上,数据在整个机器学习阶段大致经历了这样一个流程:
(原始数据–>数据清洗(形成特征)–>数据预处理–>特征工程–>进入到模型进行训练)
为什么要经历这个流程?原因在于,最开始获得的原始数据,往往存在这样那样的问题,比如说有缺失值,或者干脆就有错误的值,或者前后矛盾的值,前后格式不一致的值,对于这些值,肯定会对训练结果产生影响,进而产生错误。即使不存在上述问题了,数据当中也难免会出现很多的噪声。这些噪声 如果被训练的过多,也会成为过拟合的帮凶。
举个例子:我们假设有一个仪器,它专门检测汽车的尾气排放情况,但是由于仪器本身的缘故,在车子没有停稳的时候,经常会出现一些异常,比如说像下图这样:
那么很显然,那几个特别高耸的地方,就是出现了异常,数据清洗就是要把这些高耸的尖尖给去掉,形成下面这个样子:
关于数