读《python数据挖掘与分析实战》之七

python主要数据预处理函数

每一个函数的使用可以自行百度，这里就不记录了，书上介绍还是挺全面的！！！

小结

本章介绍了数据预处理的4个主要任务：数据清洗，数据集成，数据变换和数据规约。

数据清洗主要介绍了对缺失值和异常值的处理，处理缺失值的方法分为三类：删除记录，数据插补和不处理，处理异常值的方法有删除含有异常值的记录，不处理，平均值修正和视为缺失值；数据集成是合并多个数据源中的数据，并存放到一个数据存储的过程，对该部分的介绍从实体识别问题和冗余属性两个方面进行；数据变换介绍了如何从不同的应用角度对已有属性进行函数变换；数据规约从属性规约和数值规约两个方面介绍了如何对数据进行规约，使挖掘的性能和效率得到很大的提高，通过对原始数据进行相应的处理，将为后续挖掘建模提供良好的数学基础