数据挖掘概念与技术 第2章 认识数据

本文主要介绍数据对象与属性，数据的基本统计描述，数据可视化和度量数据的相似性和相异性。

2.1 数据对象与属性类别

      数据集由数据对象组成，一个数据对象代表一个实体。通常数据对象用属性描述。数据对象又称样本、实例、数据点或对象。如果数据对象存放在数据库中，则称它为数据元组。
     属性：是一个数据字段，表示数据对象的一个特征。在文献中，属性、维（dimension）、特征和变量可以互换使用。用以描述一个给定对象的一组属性称为属性向量（或特征向量）。涉及一个属性的数据分布称作单变量。双变量涉及两个属性。
     标称属性（nominal attribute）：标称意味着与“名称相关”，标称属性的值是一些符号或事物的名称。每个值代表某种类别、编码或状态，因此标称属性又被看做是分类的。标称属性值仅仅只是不同的名字，即标称值只提供足够的信息以区分对象。
     二元属性（binary attribute）:是一种标称属性，只有两个类别或状态：0或1，又称布尔属性。
   <font color=red>一个二元属性是对称的，如果它的两种状态具有同等价值并且携带相同的权重。
                               一个二元属性是非对称的，如果其状态结果不是同等重要。</font>  
序数属性：是一种属性，其可能的值之间具有有意义的序或秩评定（ranking），但是相继值之间的差是未知的。
数值属性：是定量的，即它是可度量的量，用整数或实数值表示。数值属性可以是区间标度的或者比率标度的。
离散属性和连续属性：把属性分成离散的或连续的。

2.2 数据的基本统计描述

一、中心趋势度量：均值、中位数和众数

数据集“中心”的度量最常用、最有效的数值度量是（算术）均值。令 $x_1，x_2，...，x_N$ 为某数值属性X的N个观测值或观测。该值集合的均值（mean）为：
$$\bar x =\frac{x_1 + x_2 + ... + x_N}{N}$$
有时，对于i=1,2,…,N，每一个值 $x_i$可以与一个权重 $w_i$相关联，权重反应它们所依附的对应值的意义、重要性或者出现的频率。在这种情况下，我们可以计算： $$\bar x =\frac{sum_{i=1}^N w_ix_i}{sum_{i=1}^N w_i} =\frac{w_1x_1+w_2x_2+...+w_Nx_N}{w_1+w_2+...+w_N}$$ 这称做加权算术均值或加权平均。
为了抵消少数极端值的影响，我们可以使用 截尾均值（trimmed mean）:丢弃高低极端值后的均值。
对于倾斜（非对称）数据，数据中心的更好度量是中位数。中位数是 有序数据值的中间值:一定是排序后的数列。它是把数据较高一半与较低一半分开的值。
众数是另一种中心趋势的度量。数据集中众数是集合中出现最频繁的值。
中列数（midrange）也可以用来评估数值数据的中心趋势。中列数是数据集的最大和最小值得平均值。

二、数据散布度量：极差、四分位数、方差、标准差和四分位数极差

设 $x_1,x_2,...,x_N$ 是某数值属性X上的观测的集合。该集合的极差是最大值与最小值之差。
假设属性X的数据以数值递增序排列。想象我们可以挑选某些数据点，以便把数据分布划分成大小相等的连贯集。这些数据点称做分位数。 分位数（quantile）是取自数据分布的每隔一定间隔上的点，把数据划分成基本上大小相等的连贯集合。
2-分位数是一个数据点，它把数据分布划分成高低两半。2-分位数是一个中位数。4-分位数是3个数据点，它们把数据划分成4个相等的部分，使得每部分表示数据分布的四分之一。通常称它们为四分位数、100-分位数通常称做百分位数，它们把数据分布划分为100个大小相等的连贯集。第1个四分位数记做 $Q_1$，是第25个百分位数，它砍掉数据的最低的25%。第3个四分位数记做 $Q_3$，是第75个百分位数，它砍掉数据的最低75%，第2个百分位数是第50个百分位数，作为中位数，它给出数据分布的中心。
第1个和第3个四分位数之间的距离是散布的一种简单度量，它给出被数据的中间一半所覆盖的范围。该距离称为四分位数极差（IQR），定义为：IQR = $Q_3 - Q_1$。识别可疑离群点的通常规则是，挑选落在第3个四分位数之上或第一个四分位数之下至少1.5*IQR处的值。
五数概括（five-number summary）由中位数$Q_2$、四分位数