《数据挖掘概念与技术》学习笔记-第二章

最新推荐文章于 2024-01-07 02:04:15 发布

Xavier_8031

最新推荐文章于 2024-01-07 02:04:15 发布

阅读量1w

点赞数 6

分类专栏：数据挖掘概念与技术文章标签：数据挖掘

本文链接：https://blog.csdn.net/Xavier_8031/article/details/103639925

版权

数据挖掘概念与技术专栏收录该内容

3 篇文章 7 订阅

订阅专栏

2.1 给出三个用于数据散布特征的常用统计度量，并讨论如何在大型数据库中有效地计算它们。

1.移动极差（Moving Range）
是指两个或多个连续样本值中最大值与最小值之差，这种差是按这样的方式计算的：每当得到一个额外的数据点时，就在样本中加上这个新的点，同时删除其中时间上“最老的”点，然后计算与这点有关的极差，因此每个极差的计算至少与前一个极差的计算公用一个点的值。一般来说，移动极差用于单值控制图，并且通常用两点（连续的点）来计算移动极差。
2.异众比率（Variation Ratio）
是指非众数值的次数之和在总次数中所占的比重。异众比率用于衡量一组以众数为分布中心的集中程度，即衡量众数达标一组数据一般水平的代表性。异众比率越小，说明数据的集中程度越高。
3.离散系数（Coefficient Variation）
是变异系数、极差、四分位差、平均差或标准差等变异指标与算术平均数的比率，以相对数的形式表示变异程度。将极差与算术平均数对比而得到极差系数，将平均差与算术平均数对比得到平均差系数。最常用的离散系数是用标准差来计算的，称为标准差系数，即： $V_{σ}=\frac{σ}{\bar{x}}$ 。离散系数越大，说明数据的离散程度越大。

2.2 假设所分析的数据包括属性age，它在数据元组中的值（以递增序）为13，15，16，16，19，20，20，21，22，22，25，25，25，25，30，33，33，35，35，35，35，36，40，45，46，52，70。

（a）该数据的均值是多少，中位数是什么

（b）该数据的众数是什么，讨论数据的模态

（c）该数据的中列数是多少

（d）粗略地找出该数据第一个四分位数（Q₁）和第三个四分位数（Q₃）

（e）给出该数据的五数概括

（f）绘制该数据的盒图

（g）分位数-分位数图与分位数图有何不同

（a）均值是29.96，中位数是25
（b）众数是25和35，数据的模态是双峰的。
（c）中列数是 $\frac{70+13}{2}=41.5$
（d）Q₁是第二个20，Q₃是第四个35
（f）采用R语言绘制的盒图如下：
在这里插入图片描述
（g）分位数图横轴为f值，竖轴为属性值，用以观察单个变量的数据分布；分位数-分位数图，即q-q图，横轴和竖轴分别是对某个变量不同观测集的值，用以观察从一个分布到另一个分布数据是否有漂移。

2.3 设给定的数据集已经分组到区间，这些区间和对应频率如下所示：

age	frequency
1~5	200
6~15	450
16~20	300
21~50	1500
51~80	700
81~110	44

计算该数据的近似中位数。

中位数区间为21~50，则中位数区间下界为 $L_{1}=21, N=3194, (\Sigma{freq})_{l}=950, freq_{median}=1500,width=30$ ，根据插值计算方法，则有 $median=L_{1}+(\frac{N/2-(\Sigma{freq})_{l}}{freq_{median}})width=33.94$ 。

2.4 假设医院对18个随机挑选的成年人检查年龄和身体肥胖，得到如下结果：

age	23	23	27	27	39	41	47	49	50
%fat	9.5	26.5	7.8	17.8	31.4	25.9	27.4	27.2	31.2

age	52	54	54	56	57	58	58	60	61
%fat	34.6	42.5	28.8	33.4	30.2	34.1	32.9	41.2	35.7

（a）计算age和%fat的均值、中位数和标准差

（b）绘制age和%fat的盒图

（c）绘制基于这两个变量的散点图和q-q图

（a） $avg(age)\approx46.44, avg(fat)\approx28.78$ ，
$m e d i a n (a g e) = 51, m e d i a n (f a t) = 30.7$ ，
$\sigma(age)\approx13.22, \sigma(fat)\approx9.25$
（b）
在这里插入图片描述
（c）散点图

q-q图

2.5 简要概述如何计算被如下属性描述的对象的相异性：

（a）标称属性

（b）非对称的二元属性

（c）数值属性

（d）词频向量

（a）两个标称属性描述的对象 $i$ 和 $j$ 之间的相异性可以根据不匹配率来计算： $d(i,j)=\frac{p-m}{p} \tag{1}$ 其中， $m$ 是匹配的数目（即 $i$ 和 $j$ 取值相同的属性数），而 $p$ 是刻画对象的属性总数。可以通过赋予 $m$ 较大的权重，或者赋给有较多状态的属性的匹配更大的权重来增加 $m$ 的影响。
（b）二元属性的相异性通过列联表进行计算，其中，非对称的二元属性相异性计算，需要忽略负匹配数，即 $d(i,j)=\frac{r+s}{q+r+s} \tag{2}$ 式中的分母部分省略掉了负匹配数 $t$ 。
（c）数值属性的相异性采用对象之间的距离进行描述。包括欧几里得距离、曼哈顿距离和闵可夫斯基距离。其中欧几里得距离表示为： $d(i,j)=\sqrt{(x_{i1}-x_{j1})^2+(x_{i2}-x_{j2})^2+\cdots+(x_{ip}-x_{jp})^2} \tag{3}$ 曼哈顿距离表示为： $d(i,j)=\lvert x_{i1}-x_{j1} \rvert+\lvert x_{i2}-x_{j2} \rvert+\cdots+\lvert x_{ip}-x_{jp} \rvert \tag{4}$ 闵可夫斯基距离，又称 $L_{p}$ 范数， $p$ 即 $h$ ，表示为： $d(i,j)=\sqrt[h]{\lvert x_{i1}-x_{j1} \rvert^h+\lvert x_{i2}-x_{j2} \rvert^h+\cdots+\lvert x_{ip}-x_{jp} \rvert^h} \tag{5}$ 当 $h\rightarrow \infty$ 时，闵可夫斯基距离推广为上确界距离，又称 $L_{max},L_\infty$ 范数或切比雪夫距离或一致范数,表示为： $d(i,j)=\lim\limits_{h\rightarrow\infty}\Big(\sum\limits_{f=1}^p\lvert x_{if}-x_{jf}\rvert^h\Big)^{\frac{1}{h}}=\max\limits_f^p\lvert x_{if}-x_{jf}\rvert \tag{6}$ 如果对每个变量根据其重要性赋予一个权重，则加权的欧几里得距离表示为： $d(i,j)=\sqrt{\omega_1\lvert x_{i1}-x_{j1} \rvert^2+\omega_2\lvert x_{i2}-x_{j2} \rvert^2+\cdots+\omega_p\lvert x_{ip}-x_{jp} \rvert^2} \tag{7}$
（d）计算词频向量的相似性，需要忽略0匹配的数值。可以采用余弦相似性度量，表示为： $sim(x,y)=\frac{x\cdot y}{\lvert\lvert x\rvert\rvert\ \lvert\lvert y\rvert\rvert} \tag{8}$ 其中， $x$ 和 $y$ 分别是各向量的欧几里得范数，即向量的长度。