【数据挖掘】exercise1涉及的知识点

1. 数据规范化

1.1 Min-max规范化

Min-max 规范化方法是将原始数据变换到[0,1]的空间中。用公式表示就是：

【注】不知道CSDN插入图片咋回事，水印前几天还能去掉，现在像牢牢焊死了一样，把公式都挡住了！bulabula吐槽中……

1.2 Z-Score规范化

Z-Score 的优点是算法简单，不受数据量级影响，结果易于比较。不足在于，它需要数据整体的平均值和标准差，而且结果没有实际意义，只是用于比较。

1.3 小数定标规范化

小数定标规范化就是通过移动小数点的位置来进行规范化。小数点移动多少位取决于属性 A 的取值中的最大绝对值。

下面的PPT可以帮助理解以上的三个概念。

2. 向量相似性度量

这里涉及的知识点包括欧氏距离、曼哈顿距离、闵可夫斯基距离和上确界距离。其中曼哈顿距离和上确界距离都是闵可夫斯基距离的一般形式，不太好计算的是上确界距离。

上确界距离的简便计算公式如下：

也就是说，上确界距离就是两个向量不同属性值作差绝对值最大的那个值。

3. 百分位数的概念

统计学术语，如果将一组数据从大到小排序，并计算相应的累计百分位，则某一百分位所对应数据的值就称为这一百分位的百分位数。可表示为：一组n个观测值按数值大小排列如，处于p%位置的值称第p百分位数。

中位数是第50百分位数。

第25百分位数又称第一个四分位数（First Quartile），用Q1表示；第50百分位数又称第二个四分位数（Second Quartile），用Q2表示；第75百分位数又称第三个四分位数（Third Quartile），用Q3表示。

百分位数的概念需要自己好好理解一下，文字定义有点晦涩。

4. 盒图的绘制

箱形图（Box-plot）又称为箱线图，是一种用作显示一组数据分散情况资料的统计图。因形状如箱子而得名。在各种领域也经常被使用，常见于品质管理。它主要用于反映原始数据分布的特征，还可以进行多组数据分布特征的比 较。箱线图的绘制方法是：先找出一组数据的上边缘、下边缘、中位数和两个四分位数；然后， 连接两个四分位数画出箱体；再将上边缘和下边缘与箱体相连接，中位数在箱体中间。

绘制步骤

1、画数轴，度量单位大小和数据批的单位一致，起点比最小值稍小，长度比该数据批的全距稍长。
2、画一个矩形盒，两端边的位置分别对应数据批的上下四分位数（Q3和Q1）。在矩形盒内部中位数（Xm）位置画一条线段为中位线。
3、在Q3+1.5IQR和Q1－1.5IQR处画两条与中位线一样的线段，这两条线段为异常值截断点，称其为内限；在Q3+3IQR和Q1－3IQR处画两条线段，称其为外限。处于内限以外位置的点表示的数据都是异常值，其中在内限与外限之间的异常值为温和的异常值（mild outliers），在外限以外的为极端的异常值(extreme outliers)。四分位距IQR=Q3-Q1。.
4、从矩形盒两端边向外各画一条线段直到不是异常值的最远点，表示该批数据正常值的分布区间。
5、用“〇”标出温和的异常值，用“*”标出极端的异常值。相同值的数据点并列标出在同一数据线位置上，不同值的数据点标在不同数据线位置上。至此一批数据的箱形图便绘出了。统计软件绘制的箱形图一般没有标出内限和外限。

四分位数其实对于不太熟悉的新手来说不太好计算，我在网上找了一个简便算法，大家可以参考一下：

Q1的位置 1(n+1)/4

Q2的位置 2 (n+1) /4

Q3的位置 3(n+1)/4

式中n表示资料的项数。

---

Reference:
1、数据变换
2、上确界距离公式推导
3、统计学里面的百分位数是什么意思
4、箱型图_百度百科
5、箱型图的绘制