基于python数据分析

Task01：数据探索与分析

1、数据质量分析

数据质量分析是数据挖掘中数据准备过程的重要–环，是数据预处理的前提，也是数据挖掘分析结论有效性和准确性的基础，没有可信的数据，数据挖掘构建的模型将是空中楼阁。
数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般是指不符合要求，以及不能直接进行相应分析的数据。在常见的数据挖掘工作中,脏数据包括如下内容。
口、缺失值。
异常值。
不一致的值。
重复数据及含有特殊符号(如#、￥、*)的数据。

2、缺失值分析

数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失，两者都会造成分析结果的不准确，以下从缺失值产生的原因及影响等方面展开分析。
(1)缺失值产生的原因
1)有些信息暂时无法获取，或者获取信息的代价太大。
2)有些信息是被遗漏的。可能是因为输人时认为不重要、忘记填写或对数据理解错误等一些人为因素而遗漏，也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障等非人为原因而丢失。
3)属性值不存在。在某些情况下，缺失值并不意味着数据有错误。对一-些对象来说某些属性值是不存在的，如一个未婚者的配偶姓名、一个儿童的固定收入等。
(2)缺失值的影响
1 )数据挖掘建模将丢失大量的有用信息。
2)数据挖掘模型所表现出的不确定性更加显著，模型中蕴涵的规律更难把握。
3)包含空值的数据会使建模过程陷人混乱，导致不可靠的输出。
(3)缺失值的分析
使用简单的统计分析，可以得到含有缺失值的属性的个数，以及每个属性的未缺失数、缺失数与缺失率等。
从总体上来说，缺失值的处理分为删除存在缺失值的记录、对可能值进行插补和不处理3种情况。

3、异常值分析

异常值分析是检验数据是否有录人错误以及含有不合常理的数据。忽视异常值的存在是十分危险的，不加剔除地把异常值包括进数据的计算分析过程中，对结果会产生不良影响;重视异常值的出现，分析其产生的原因，常常成为发现问题进而改进决策的契机。
异常值是指样本中的个别值，其数值明显偏离其余的观测值。异常值也称为离群点，异常值的分析也称为离群点分析。
(1)简单统计量分析
可以先对变量做一个 描述性统计，进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出了合理的范围。如客户年龄的最大值为199岁，则该变量的取值存在异常。
(2) 3σ原则
如果数据服从正态分布，在3σ原则下，异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。在正态分布的假设下，距离平均值3σ之外的值出现的概率为P(x-u1>3σ)≤0.003，属于极个别的小概率事件。