数据分析 --- 如何处理脏数据

一、脏数据

种类：

• 缺失数据：可以通过填充平均值、按比例填充随机数等方法处理，若有备份数据，直接将备份数据引入即可
• 重复数据：去除重复部分即可
• 错误数据：可以通过以下三种方式解决：

1.通过对数据区间进行限定，排除明显异常的数据
2.通过系统的内部逻辑结构查找不符合格式的数据
3.通过建立匹配规则，匹配不统一的数据

• 不可用数据：正确，但无法直接使用，可以通过文本函数将其进行拆分（如日期数据）

二、脏数据的常规处理方法

• 结构化

需要对数据进行缩减，将其变为可测量、可分析的结构
如将用户评论中的好、不好、中等，进行数量化，好：2，中：1，差：0

• 规范化

通过将数据规范化，将脏数据中合格的部分筛选出来，如：将日期数据2020-01-01规范化，可以筛选出年份、月份、日期

• 可关联

数据之间应该有关联性，通过相互关联的数据可以将脏数据定位
如：销售数据中出现了一笔非常大的交易额，若想查看它是否正常，
应当把交易额与客户姓名、购买日期、订单号、单价等相关联，
当查找这个异常的脏数据时就可以十分清楚的定位到相关信息，看是否正常。

三、数据处理要遵循的原则

• 约束输入
  让用户输入数据时，按照一定的规范格式进行输入，如限定必填项、提供下拉列表、格式错误提醒等，表单的设计要细致化

• 规范输出
  要让同一个指标在每张报表的表述相同，如地名北京，不能在一张表中是北京，另一张表中就是beijing
  要对各种数据在数据库中备份，以确定原始数据的格式是怎样的，若要变动时，可以依据备份数据进行变动
  对于备份数据的输出可以通过表格、图形进行展示，以便查阅。