数据预处理是数据挖掘中的重要环节，约占70%的工作量。本文介绍了处理数据缺失、离群点、重复值的方法，如缺失值可采用重新采样或填充均值；离群点检测使用LOF算法；重复值检测通过滑动窗口与编码对比。还讨论了数据转换、采样、标准化和可视化的策略，包括数据类型的编码、不平衡数据的处理、最大值-最小值映射和相关性分析等。
前言
机器零件的产生，要在把矿石冶炼成铁锭的基础上，再进行进一步加工，才能得到机器零件。在数据挖掘中，数据预处理就对应把矿石冶炼成铁锭的过程。数据预处理是把无法直接用于分析的脏数据进行数据清洗、数据转换、数据采样、数据标准化等操作。解决实际问题时，数据预处理可能要花费完成整体过程的70%的精力，是数据挖掘中最重要的步骤之一。
一、数据缺失问题
缺失原因
1.客观原因：体检设备坏了，整行整列缺失
2.数据未被提供：隐私数据
3.正常情况下不适用的数据：男女体检项目不同、学生工资
缺失类型
1.完全随机缺失：风把卷子刮走几张
2.不完全随机缺失（与属性有关）：女生不愿意填体重
3.非随机缺失：收入复杂的人不愿填收入
处理方式(more art than science)
1.无视：对整体数据影响不大的数据
2.填数据：重新采样数据/专业知识推测/统一填值（e.g.填均值*正态分布）
二、离群点问题
1.离群点对平均值问题影响很大（e.g.最
订阅专栏 解锁全文
扫一扫
417
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
