MATLAB实战应用-【数据处理篇】数据清洗（从方法论到实战应用）

目录

前言

数据清洗需要达到什么要求

如何规范数据

一、解决数据的完整性问题:

二、解决数据的唯一性问题

三、解决数据的权威性问题

四、解决数据的合法性问题

五、解决数据的一致性问题

常见的“脏”数据类型及处理办法

缺失值

缺失值处理方法

异常值

如何检测异常值

异常值处理方法

重复数据

重复数据处理方法

数据清洗的流程

MATLAB实现数据清洗

数据清理函数

​编辑

1.清理缺失数据 

2. 清理离群数据

3. 查找变化点

 4.求局部极值

5. 平滑处理数据

6.去趋势 

应用案例

1.四分位法对风电功率数据清洗

2.脏数据清洗

问题描述：

解答：

---

前言

数据清洗也叫数据清理，是指从数据库或数据表中更正和删除不准确数据记录的过程。广义地说，数据清洗包括识别和替换不完整、不准确、不相关或有问题的数据和记录。
数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。

通过有效的数据清洗，能够确保所有数据集应保持一致并且没有任何错误，为以后数据的使用和分析提供支撑。