数据挖掘导论(2)

探索数据

数据探索有助于选择合适的数据预处理和数据分析技术。
数据探索与探测性数据分析(Exploratory Data Analysis, EDA)

• 汇总统计（summary statistics）：是量化的，如值集合均值和标准差
• 可视化技术：如直方图和散布图
• 联机分析处理(OLAP)：从多维数据数组中创建汇总表各种方法，包括在不同的维上或不同的属性值上聚集数据。

3.2 汇总统计

对于具有相同频率的属性，讨论众数没有意义。

• 百分位数(percentile)：用来定位某个数的在值域中的位置，特殊的，**中位数(median)**是（百分之五十分位数）。
• 均值(mean):均值对于离散点很敏感，而中位数即使在离群点存在也能保持数据稳健性。
• 截断均值(trimmed mean):指定0和100之间的百分位数p，丢弃高端和低端(p/2 %)的数据，然后用常规的方法计算均值。

3.2.4 散布度量:极差和方差
散度度量：这种度量表明属性值是否散布很宽，或者是否相对集中在单个点(如均值)附近。
最简单的散布度量是极差(range)。
方差(variance)、标准差(standard deviation):需要用均值计算，同样对均值敏感。
绝对平均偏差(absolute average deviation,ADD)：
中位数绝对偏差(median