数据清洗规则

数据清洗主要针对四种情况:1.缺失值 2.重复值 3.异常值 4.无用值

1.缺失值处理

        重要性高,缺失率低:通过计算来填充

        重要性高,缺失率高:可以从其他渠道数据进行补充,或者相关数据进行计算得出

        重要性低,缺失率高:不处理或简单填充

        重要性低,缺失率低:考虑删除字段

2.重复值清洗

        进行过滤删除

3.异常值处理

        格式错误:时间日期等可以统一处理成统一格式

        内容与字段类型不符:将类型进行转换

        不合理值和矛盾值:删除不合理值,修正矛盾值

4.无用值处理

        对无用值进行删除