三、数据探索

两个角度：数据质量分析、数据特征分析

一、数据质量分析（脏数据）
脏数据分类：
* 缺失值（删除、插补、不处理）
* 异常值（离群点）：
简单统计量分析（判断合理范围）
3δ原则（偏离平均值3倍标准差）
箱形图分析
* 不一致的值(矛盾性、不相容性)
* 重复数据以及带有特殊符号的数据

二、数据特征分析（绘制图表、计算特征向量）
* 分布分析（绘图）：定量：频率分布直方图；定性：饼图、条形图
* 对比分析
* 统计量分析：均值、中位数、众数、极差、标准差、变异系数（标准差相对于均值的离中趋势）、四分位数间距
* 周期性分析
* 贡献度分析(帕累托图)
* 相关性分析（散点图，计算相关系数:pearson相关系数、Spearman秩相关系数、 判定系数）
三、数据探索函数
相关系数：D.corr(method=‘pearson’)
方差：var
标准差 ：std
协方差矩阵：cov
describe:percentiles(0.2,0.4)指定分位数

拓展函数：
cumsum（）:累加
cumprod（）:累乘，依次给出积
cummax()：依次给出前1，2，3…的最大值

画图函数：
plt.plot(s,y,style)二维图
pie :label,size,explode=(0,0.1,0,0)第二部分突出，color
hist
boxplot D.plot(kind=box)