探索数据的分布规律,非常有用,有时可以直接发现数据的规律。
可以做直方图,做频数的分布情况
先求极差:
极差:最大值-最小值
再求组距:
组距:极差/组数
数据集成的概述
数据集成一般是把不同来源的数据放在一起。但是来自多个地方的数据一定要做好实体识别与冗余属性识别,避免数据整合错误寄数据重复
数据集成技巧
一般来说,数据集成的过程如下:
1、观察数据源,发现其中关系,详细查看是否有同名不同意,同意不同名的情况
2、进行数据读取与整合,(numpy.concatenate((a,b)))
3、去除重复数据