【Python基础进阶笔记】数据质量

MarilynMao

已于 2022-05-23 13:14:19 修改

阅读量433

点赞数

分类专栏：天池龙珠计划学习笔记文章标签：数据分析 python

于 2022-05-22 18:43:03 首次发布

本文链接：https://blog.csdn.net/MarilynMao/article/details/124910776

版权

本文主要探讨了数据质量的三个方面：准确性、重复值和缺失值。介绍了如何识别和处理数据准确性问题，详细讲解了数据重复值的检测与去重方法，并通过案例展示了缺失值的处理策略，还涉及到了异常值的识别和处理。

摘要由CSDN通过智能技术生成

数据的质量分析

原因	1）对数据的理解有误，字段含义与理解含义不同 2）指标的统计逻辑差异 3）数据不完整、有缺失或遗漏
影响	数据失真，在分析、建模的过程中会让模型出现错误结果，导致输出值不可靠识别方法
识别方法	1）分析结果与已知的准确数据进行对比 2）相关人员进行核实（业务数据）
解决方案	不断修正逻辑直到获取准确数据

原因	1）数据录入时重复录入 2）数据处理时产生了多条数据
影响	数据失真，在分析、建模的过程中会让模型出现错误结果，导致输出值不可靠识别方法
识别方法	确定记录的数据主键，统计主键的出现次数
解决方案	1）如两条记录仅某个字段相同，则确定哪一条数据是准确的，删除无效数据 2）如两条完全相同，则删除其中一条