数据仓库作业四：第7章 数据的属性与相似性

---

 

第7章 数据的属性与相似性

作业题

1、设有10个二元属性，3个数据对象的数据集（表1）。

id	$A_1$	$A_2$	$A_3$	$A_4$	$A_5$	$A_6$	$A_7$	$A_8$	$A_9$	$A_{10}$
$X_1$	1	0	1	1	1	1	1	0	1	1
$X_2$	1	1	0	0	1	0	0	1	1	0
$X_3$	0	1	1	0	1	1	1	0	0	1

试计算简单匹配系数相似度 $s_{mc}(X_1,X_2)$，$s_{mc}(X_2,X_3)$；Jaccard 系数相似度$s_{jc}(X_1,X_2)$，$s_{jc}(X_2,X_3)$；Rao 系数相似度$s_{rc}(X_1,X_2)$，$s_{rc}(X_2,X_3)$。

解：

由题可知，$X_1=(1,0,1,1,1,1,1,0,1,1)$   $X_2=(1,1,0,0,1,0,0,1,1,0)$

比较 $X_1$ 和 $X_2$ 每一个属性的取值情况，可得 $f_{11}=3$，$f_{10}=5$，$f_{01}=2$，$f_{00}=0$；

向量的维数 $d=f_{11}+f_{10}+f_{01}+f_{00}=10$；

计算得：
$$s_{mc}(X_1,X_2)=\frac{f_{11}+f_{00}}{f_{11}+f_{10}+f_{01}+f_{00}}=\frac{f_{11}+f_{00}}{d}=\frac{3}{10}$$ $$s_{jc}(X_1,X_2)=\frac{f_{11}}{f_{11}+f_{10}+f_{01}}=\frac{f_{11}}{d-f_{00}}=\frac{3}{10}$$ $$s_{rc}(X_1,X_2)=\frac{f_{11}}{f_{11}+f_{10}+f_{01}+f_{00}}=\frac{f_{11}}{d}=\frac{3}{10}$$
由题可知， $X_2=(1,1,0,0,1,0,0,1,1,0)$   $X_3=(0,1,1,0,1,1,1,0,0,1)$

比较和每一个属性的取值情况，可得 $f_{11}=2$，$f_{10}=3$，$f_{01}=4$，$f_{00}=1$；

向量的维数 $d=f_{11}+f_{10}+f_{01}+f_{00}=10$；

计算得：
$$s_{mc}(X_2,X_3)=\frac{f_{11}+f_{00}}{f_{11}+f_{10}+f_{01}+f_{00}}=\frac{f_{11}+f_{00}}{d}=\frac{3}{10}$$ $$s_{jc}(X_2,X_3)=\frac{f_{11}}{f_{11}+f_{10}+f_{01}}=\frac{f_{11}}{d-f_{00}}=\frac{2}{10-1}=\frac{2}{9}$$ $$s_{rc}(X_2,X_3)=\frac{f_{11}}{f_{11}+f_{10}+f_{01}+f_{00}}=\frac{f_{11}}{d}=\frac{2}{10}=\frac{1}{5}$$

2、设有5个分类属性，3个数据对象的数据集（表2）。

对象id	背景颜色	婚姻状况	性别	血型	职业
$X_1$	红	单身	女	B	工人
$X_2$	白	离异	男	AB	工人
$X_3$	蓝	单身	男	B	教师

试计算 $s(X_1,X_2)$ 和 $s(X_1,X_3)$ 和 $s(X_2,X_3)$。

解：

利用 $X_i$ 和 $X_j$ 的相似度公式 $$s(X_i,X_j)=\frac{p}{d}$$ $p$ 是 $X_i$ 和 $X_j$ 的对应属性值 $x_{ik}=x_{jk}$ 的个数，$d$ 是向量的维数。

由题可知，向量的维数 $d=5$，对象 $X_1$ 和 $X_2$ 在职业分量上取相同的值，

计算得，
$$s(X_1,X_2)=\frac{p_1}{d}=\frac{1}{5}$$

同理可得，
$$s(X_1,X_3)=\frac{p_2}{d}=\frac{2}{5}$$ $$s(X_2,X_3)=\frac{p_3}{d}=\frac{1}{5}$$

3、假设某校用考试成绩、奖学金和月消费3个属性来描写学生在校的信息（表3）。

其中第1个属性考试成绩取 $m_1=5$ 个状态，其顺序排位为优>良>中>及格>不及格；第2个属性奖学金取 $m_2=3$ 个状态，其顺序排位为甲>乙>丙；第3个属性月消费取 $m_3=3$ 个状态，其顺序排位为高>中>低。

对象id	成绩	奖学金	月消费
$X_1$	良	甲	高
$X_2$	优	甲	中
$X_3$	中	丙	高

试按照序数属性相似度计算方法求 $s(X_1,X_2)$ 和 $s(X_1,X_3)$ 和 $s(X_2,X_3)$ 。

解：

首先将序数属性的值域映射为整数排位集合。

{ 优 , 良 , 中 , 及格 , 不及格 } ⇒ { 5 , 4 , 3 , 2 , 1 } \{优,良,中,及格,不及格\}\Rightarrow\{5,4,3,2,1\} {优,良,中,及格,不及格}⇒{5,4,3,2,1}，其中最大排位数 $m_1=5$；

{ 甲 , 乙 , 丙 } ⇒ { 3 , 2 , 1 } \{甲,乙,丙\}\Rightarrow\{3,2,1\} {甲,乙,丙}⇒{3,2,1}，其中最大排位数 $m_2=3$；

{ 高 , 中 , 低 } ⇒ { 3 , 2 , 1 } \{高,中,低\}\Rightarrow\{3,2,1\} {高,中,低}⇒{3,2,1}，其中最大排位数 $m_3=3$；

将每个属性的取值用其排位的整数代替，得

对象id	成绩	奖学金	月消费
$X_1$	4	3	3
$X_2$	5	3	2
$X_3$	3	1	3

利用公式 $$z_{ik}=\frac{x_{ik}-1}{m_k-1}$$将其映射到 $[0,1]$ 区间的实数，并代替原先的排位整数，得到数值属性的数据集。

对于数据对象 $X_1$ ，其成绩排位整数是 4，而 $m_1=5$ ，因此 $z_{11}=(x_{11}-1)/(m_1-1)=(4-1)/(5-1)=0.75$；$X_2$ 的成绩排位数是 5，映射为 $z_{21}=(x_{21}-1)/(m_1-1)=(5-1)/(5-1)=1$；$X_3$ 的成绩排位数是 3，映射为 $z_{31}=(x_{31}-1)/(m_1-1)=(3-1)/(5-1)=0.5$。

同理可得 $X_1$，$X_2$，$X_3$ 的奖学金和月消费的实数值。

对象id	成绩	奖学金	月消费
$X_1$	0.75	1	1
$X_2$	1	1	0.5
$X_3$	0.5	0	1

选用欧几里得距离公式计算任意两点之间的相异度，得
$$d(X_1,X_2)=\sqrt{(0.75-1{)}^2+(1-1{)}^2+(1-0.5{)}^2}=\sqrt{\frac{5}{16}}$$ $$d(X_1,X_3)=\sqrt{(0.75-0.5{)}^2+(1-0{)}^2+(1-1{)}^2}=\sqrt{\frac{17}{16}}$$ $$d(X_2,X_3)=\sqrt{(1-0.5{)}^2+(1-0{)}^2+(0.5-1{)}^2}=\sqrt{\frac{3}{2}}$$

由公式 $$s(X_i,X_j)=\frac{1}{d(X_i,X_j)}$$计算得相似度
$$s(X_1,X_2)=\frac{1}{d(X_1,X_2)}=\sqrt{\frac{16}{5}}\approx 1.79$$ $$s(X_1,X_3)=\frac{1}{d(X_1,X_3)}=\sqrt{\frac{16}{17}}\approx 0.97$$ $$s(X_2,X_3)=\frac{1}{d(X_2,X_3)}=\sqrt{\frac{2}{3}}\approx 0.82$$

4、对于如下表4所示的数据集，试计算余弦相似度 $s_{cos}(X_1,X_3)$ 和 $s_{cos}(X_2,X_3)$ 的值。

文档号	球队	教练	冰球	棒球	足球	罚球	得分	赢球	输球	赛季
$X_1$	5	0	3	0	1	0	0	1	0	0
$X_2$	3	0	2	0	1	1	0	1	0	1
$X_3$	4	1	2	0	2	1	0	1	0	0

解：

$X_1=(5,0,3,0,1,0,0,1,0,0)$   $X_2=(3,0,2,0,1,1,0,1,0,1)$   $X_3=(4,1,2,0,2,1,0,1,0,0)$

$\Vert X_1\Vert =\sqrt{5^2+3^2+1^2+1^2}=6$

$\Vert X_2\Vert =\sqrt{3^2+2^2+1^2+1^2+1^2+1^2}=\sqrt{17}$

$\Vert X_3\Vert =\sqrt{4^2+1^2+2^2+2^2+1^2+1^2}=3\sqrt{3}$

$X_1\cdot X_3=5\times 4+0\times 1+3\times 2+1\times 2+0\times 1+1\times 1=29$

$X_2\cdot X_3=3\times 4+0\times 1+2\times 2+1\times 2+1\times 1+1\times 1+1\times 0=20$

由公式 $$s_{cos}(X_i,X_j)=\frac{X_i\cdot X_j}{\Vert X_i\Vert \cdot \Vert X_j\Vert }$$ 得
$$s_{cos}(X_1,X_3)=\frac{X_1\cdot X_3}{\Vert X_1\Vert \cdot \Vert X_3\Vert }=\frac{29}{6\times 3\sqrt{3}}\approx 0.93$$ $$s_{cos}(X_2,X_3)=\frac{X_2\cdot X_3}{\Vert X_2\Vert \cdot \Vert X_3\Vert }=\frac{20}{\sqrt{17}\times 3\sqrt{3}}\approx 0.93$$

5、设有混合属性数据集（表5），试计算 $S$ 的相异度矩阵。

顾客id	性别	婚姻状况	学位	当月消费额
$X_1$	男	已婚	其他	1230
$X_2$	男	Null	硕士	Null
$X_3$	男	离异	博士	3586
$X_4$	女	单身	硕士	3670
$X_5$	男	单身	学士	1025
$X_6$	女	丧偶	Null	2890

解：

属性 “性别” 的相异度矩阵：$D^{(1)}(S)=\left(\begin{array}{cccccc}0& & & & & \\ 0& 0& & & & \\ 0& 0& 0& & & \\ 1& 1& 1& 0& & \\ 0& 0& 0& 1& 0& \\ 1& 1& 1& 0& 1& 0\end{array}\right)$

属性 “婚姻状况” 的相异度矩阵：$D^{(2)}(S)=\left(\begin{array}{cccccc}0& & & & & \\ Null& 0& & & & \\ 1& Null& 0& & & \\ 1& Null& 1& 0& & \\ 1& Null& 1& 0& 0& \\ 1& Null& 1& 1& 1& 0\end{array}\right)$

属性 “学位” 的相异度矩阵：$D^{(3)}(S)=\left(\begin{array}{cccccc}0& & & & & \\ 0.67& 0& & & & \\ 1& 0.33& 0& & & \\ 0.67& 0& 0.33& 0& & \\ 0.33& 0.33& 0.67& 0.33& 0& \\ Null& Null& Null& Null& Null& 0\end{array}\right)$

由公式 $$d^{(k)}(X_i,X_j)=\frac{|x_{ik}-x_{jk}|}{ma{x}_k-mi{n}_k}$$

得属性 “当月消费额” 的相异度矩阵：$D^{(4)}(S)=\left(\begin{array}{cccccc}0& & & & & \\ Null& 0& & & & \\ 0.89& Null& 0& & & \\ 0.92& Null& 0.03& 0& & \\ 0.08& Null& 0.97& 1& 0& \\ 0.63& Null& 0.26& 0.29& 0.71& 0\end{array}\right)$

利用公式 $$d(X_i,X_j)=\frac{\sum _{k=1}^d{\delta }^{(k)}(X_i,X_j)\times d^{(k)}(X_i,X_j)}{\sum _{k=1}^n{\delta }^{(k)}(X_i,X_j)}$$

将 $D^{(k)}(S)(k=1,2,\cdots ,d)$ 集成为 $S$ 的相异度矩阵 $D(S)$，得
$$D(S)=\left(\begin{array}{cccccc}0& & & & & \\ 0.33& 0& & & & \\ 0.72& 0.17& 0& & & \\ 0.89& 0.5& 0.59& 0& & \\ 0.35& 0.17& 0.66& 0.59& 0& \\ 0.88& 1& 0.75& 0.43& 0.9& 0\end{array}\right)$$