数据挖掘 （二） 认识数据

一.数据对象与属性类型：

数据库中的行对应数据对象，而列对应于属性。

1.属性定义：

一个数据字段，表示数据对象的一个特征。

标称、二元和序数属性都是定性的，即它们描述对象的特征。而不给出实际大小或数量

2.标称属性：

标称属性的值是一些符号或事物的名称，每个值代表某种类别、编码或状态，看做是分类的

比如头发颜色hair_hair和婚姻状况marital_status

3.二元属性（布尔属性）：

是一种标称属性，只有两个类别或状态： 0或1

4.序数属性：

是一种属性，其可能的值之间具有有意义的序或秩评定，但是相继之之间的差是未知的；对于记录不能客观度量的主观质量评估是很有用的，通常用于等级评定调查

5.数值属性：

定量的，即是可度量的量，用整数或实数值表示，数值属性分为区间标度的或比率标度的

（1）区间标度属性：

用相等的单位尺度度量，允许我们比较和定量评估值之间的差

（2）比率标度属性：

具有固定零点的数值属性，可以说一个值是另一个的倍数，，也能计算值之间的差

6.离散属性与连续属性：

（1）离散属性：

具有有限或无限可数个值

（2）连续属性：

一般用浮点变量来表示

二.数据的基本统计描述：

1.中心趋势度量：均值、中位数和众数

（1）均值： 加权算数平均值 截尾均值

（2）中位数和众数：中列数

2.度量数据散步：极差、四分位数、方差、标准差和四分位数极差

（1）极差： max-min

（2）分位数：取自数据分布的每隔一定间隔上的点，把数据划分成基本上大小相等的连贯集合

2-分位数把数据划分为高低两半，对应于中位数；

4-分位数是3个数据点，把数据划分为4个相等的部分

（3）四分位数极差IQR： IQR=Q3-Q1 Q3和Q1分别为第三个和第一个四分位数

（4）五数概括：中位数Q2、四分位数Q1和Q3、最小和最大观测值

（5）盒图：体现了五数概括，可以用来比较若干个可比较的数据集

3.数据的基本统计描述的图形显示：

（1）分位数图： 观察单变量数据分布的简单有效方法

（2）分位数-分位数图： 绘制一个单变量分布的分位数。可以使用户观察从一个分布到另外一个分布是否有漂移

（3）直方图

（4）散点图：观察双变量数据有用方法，用于观察点簇和离群点或者考察相关联系的可能性（正相关或者负相关）

三.数据可视化：

1.基于像素的可视化技术：

在屏幕上创建m个窗口，每维一个，记录的m个维值映射到这些窗口中对应位置上的m个像素，像素的颜色反映对应的值

2.几何投影可视化技术：

帮助用户发现多维数据级的有趣投影，首要挑战解决在二维显示上可视化高维空间

散点图矩阵 平行坐标

3.基于图符的可视化技术：

使用少量图符表示多维数据值

（1）切尔诺夫脸

（2）人物线条画

4.层次可视化技术：

把所有维划分为子空间，这些子空间按层次可视化

例子：世界中的世界、树图

5.可视化复杂对象和关系：

标签云

四.度量数据的相似性和相异性：

1.数据矩阵（二模矩阵）与相异性矩阵（单模矩阵）：

主要基于内存的聚类和最近邻算法(数据矩阵和相异性矩阵)

2.标称属性的邻近性度量：

两个对象i和j之间的相异性可以根据不匹配率来计算： d（i，j）=（p-m）/p

m是匹配的数目，p是刻画对象的属性总数

3.二元属性的邻近性度量：

对称的二元相异性和非对称的二元相异性

4.数值属性的相异性：闵可夫斯基距离

欧几里得距离、曼哈顿距离和闵可夫斯基距离

5.序数属性的邻近性度量

6.混合类型属性的相异性：

将所有属性类型一起啊处理，只做一次分析，将不同的属性组合在单个相异性矩阵中，把所有有意义的属性转换到共同的区间[0.0,1.0]

7.余弦相似性:

一种度量，用来比较文档或者针对给定的查询向量对文档排序，或针对给定的查询词向量对文档排序