Outline
1、数据特点
属性和对象
数据类型
数据质量
2、 基本数据探索技术
基本统计学
数据可视化
3、对分类问题的介绍
决策树
Data exploration
初步的数据探索是为了更好的理解数据特点
-
其动机在于:有助于在为数据预处理和分析时选择正确的工具、利用人类的能力识别模式
-
用到的技术有: 可视化、聚类和异常检测
要注意的是,在数据挖掘中,聚类和异常检测是主要的关注领域,而不是仅仅是探索性技术。
摘要统计summary statistics
摘要统计是总结到的数据属性的个数。汇总的属性包括频率,位置和散布。比如我们用均值定位,用标准差确定散布程度
频率和模式
frequency:某属性的频率就是该属性出现的百分比
mode:属性的模式是最频繁的属性值
百分位percentiles
一般对于连续数据,百分位的概念更有用。
定义:给定连续属性x 和 介于0和100之间的数字p,那么第p个百分位数xp,就是使x的前p%的值均小于xp。
(来自百度百科:一组n个观测值按数值大小排列。处于p%位置的值称第p百分位数)
平均值,中值
- mean平均值:比较通用的位置测量方法&#