一、Python数据分析工具
二、数据探索
一、对数据的质量分析
异常值的分析:
1. 简单的统计量分析:查看最大最小值是否在合理范围
2.3δ原则,在正态分布下异常值被定义为一组定值与平均值的距离超过3倍的标准差。
3.箱形图分析:
异常值被定义为小于QL-1.5IQR 或大于QR+1.5IQR
QL是所有数据的下四分位,QR是所有数据的上四分位。IQR是QR-QL
DataFrame中describe()已经给出了基本的统计
二、数据特征分析
1.可以使用pandas、matplotlib绘制统计图
散点图矩阵可以分析每两个变量的关系。
2.计算相关系数
①Pearson相关系数
②Spearman秩相关系数
③判定系数
使用pandas的corr()计算相关系数