数据探索性分析

数据探索性分析

数据质量分析

缺失值分析

1、缺失值产生的原因
1）有些暂时无法获取的数据，或者获取代价太大的数据
2）有些是被遗漏的数据

• 输入时认为不重要，忘记填写，对数据理解错误，一些人为的因素

• 数据采集设备故障，存储介质故障，传输媒体的故障等非人为丢失

2、缺失值的影响

• 数据挖掘建模将丢失大量有用信息
• 挖掘模型所表现的不确定性更加显著
• 包含空值的数据会使建模过程陷入混乱，导致不可靠的输出

3、缺失值分析

• 简单的统计分析：得到含有缺失值的属性及个数，和缺失率
• 从总体上来说：缺失值处理分为三个：
  • 删除
  • 插补
  • 不处理

异常值分析

含义：是检验是否含有录入错误，以及不合常理的数据，异常值是指样本中的个别值，其数值明显偏离其余的观测值，异常值也称离群点
1、作简单统计量分析
可以先对变量做一个描述性统计，进而查看哪些数据是不合理的，最常用的统计量是，最大，最小值，如：客户年龄199岁，则该变量的取值存在异常
箱型图分析

一致性分析

数据的不一致性是指数据的矛盾性，不相容性。
在数据挖掘中，不一致数据主要产生在数据集成的过程中，

数据特征分析

对数据进行质量分析之后，接下来可以通过绘制图表，计算某些特征量等手段进行数据的特征分析

分布分析

揭示数据的分布特征和分布类型，

• 对于定量数据：欲了解其分布形式的对称性，非对称性，发现某些特大或特小的可疑值
  • 可通过绘制：频率分布表，频率分布直方图，茎叶图
• 定性分类数据：可用饼图，条形图，显示分布情况

1、定量数据的分布分析
对于定量数据，选择‘组距’和‘组数’是频率分布分析最主要的问题，一般按照以下步骤进行：
1）求极差（最大-最小）
2）决定组距和组数（根据业务取组距，组数 = 极差 / 组距）
3）决定分点
4）列出频率分布表
5）绘制频率分布直方图
遵循的主要原则如下
1）各组之间必须是相互排斥的
2）各组之间必须将所有的数据包含
3）各组的组宽最好都相等

2、定性数据的分布分析
对于定性数据，常常根据数据的分类类型来分组，饼图和条形图

对比分析

两种形式
1、绝对数比较
利用绝对数进行对比

2、相对数比较
对两个有联系的指标对比计算

• 结构相对数：将同一总体内的部分数值与全部数值进行对比求得比重，用以说明事物的结构，质量，性质的相似度
• 比例相对数
• 比较相对数
• 强度相对数
• 计划完成相对数
• 动态相对数：用同一种现象在不同时期的指标数值进行对比，用以说明，数据事物的周期性，发展速度，增长速度等

统计量分析

1、集中趋势度量
平均数、中位数、众数
2、离中趋势度量
极差、标准差、变异系数、四分位间距（上四分位与下四分位之差）
describe

周期性分析

某个变量随着时间变化呈现出的某种周期性变化趋势，

贡献度分析

原理是帕累托法则，就是28原则，同样的投入放在不同的地方产生不同的效益
例如：一个公司80%的收益常常来自20%最畅销的产品，而其他80%的产品只有20%的收益

相关性分析

corr
1、绘制散点图最直观

2、计算相关系数
1）pearson相关系数

2）Spearman相关系数
pearson线性相关系数，要求服从正态分布，不服从正态分布的变量可采用Spearman

python主要数据探索函数

基本统计特征函数

拓展统计特征函数

统计作图函数（matplotlib）