数据清洗经验

数据为什么需要清洗

• 字段缺失
• 前后结构不一致
• 数据取值范围不对
• 不是易于分析的格式

清洗数据技巧

• 使用断言 Assertions
  例如每条记录有4个字段，断言之； 某个字段是整数，断言之。反正，能断言的都断言，不要嫌麻烦。
• 对于不完整或者损坏的记录，不要默默跳过
  可以打印出提示信息，方便之后查找
  记录跳过记录的条数，和总记录数，看看比例
• 如果有枚举字段，且种类多，可以不用断言，遇到新种类时打印出来提醒一下，清洗完在检查
• 断点清洗。适用于数据集较大，程序中途崩溃
• 先在一部分数据集上测试清洗
• 打印清洗日志
• 验证清洗后的数据
• (可选)如果效率空间允许情况下，把原始数据一并保存下来

参考

http://kb.cnblogs.com/page/514866/