聚类 距离方法Clustering, Distance Methods

聚类分析的基本目标是发现项目items/变量variables的自然分组natural grouping方法。

接近程度closeness或者相似性similarity/proximity
Euclidean distance 欧氏距离
$$x^{\prime }=[x_1,x_2,...,x_p],y^{\prime }=[y_1,y_2,...,y_p]$$

$$d(x,y)=\sqrt{(x-y{)}^{\prime }(x-y)}$$
statistical distance 统计距离
$$d(x,y)=\sqrt{(x-y{)}^{\prime }{S}^{-1}(x-y)}$$
Hierarchical Clustering Methods 分层聚类方法
--------------·Linkage Method 连接法
1)single linkage 单连接法

将每个对象看成是一个类，我们的聚类从合并两个最接近的项目开始：
$$\underset{i,k}{\min }(d_{ik})=d_{53}=2$$

对象5和3合并，形成聚类（35）。为确定下一个聚类水平，我们需要得到聚类（35）与其余对象1，2，4之间的距离，最近邻近点的距离为：
d ( 35 ) 1 = m i n { d 31 , d 51 } = m i n { 3 , 11 } = 3 d ( 35 ) 2 = m i n { d 32 , d 52 } = m i n { 7 , 10 } = 7 d ( 35 ) 4 = m i n { d 34 , d 54 } = m i n { 9 , 8 } = 8 d_{(35)1}=min{\{d_{31},d_{51}\}}=min{\{3,11\}}=3\\ d_{(35)2}=min{\{d_{32},d_{52}\}}=min{\{7,10\}}=7\\ d_{(35)4}=min{\{d_{34},d_{54}\}}=min{\{9,8\}}=8 d(35)1​=min{ d31​,d51​}=min{ 3,11}=3d(35)2​=min{ d32​,d52​}=min{ 7,10}=7d(35)4​=min{ d34​,d54​}=min{ 9,8}=8

得到新的距离矩阵：

在这个距离阵中，各对聚类间最小距离为$d_{(35)1}=3$，于是我们将聚类1与（35）合并在一起得到下一个聚类（135）
d ( 135 ) 2 = m i n { d ( 35 ) 2 , d 12 } = m i n { 7 , 9 } = 7 d ( 135 ) 4 = m i n { d ( 35 ) 4 , d 14 } = m i n { 8 , 6 } = 6 d_{(135)2}=min{\{d_{(35)2},d_{12}\}}=min{\{7,9\}}=7\\ d_{(135)4}=min{\{d_{(35)4},d_{14}\}}=min{\{8,6\}}=6 d(135)2​=min{ d(35)2​,d12​}=min{ 7,9}=7d(135)4​=min{ d