聚类分析的基本目标是发现项目items/变量variables的自然分组natural grouping方法。
接近程度closeness或者相似性similarity/proximity
Euclidean distance 欧氏距离
x ′ = [ x 1 , x 2 , . . . , x p ] , y ′ = [ y 1 , y 2 , . . . , y p ] x'=[x_{1},x_{2},...,x_{p}]\quad,\quad y'=[y_{1},y_{2},...,y_{p}] x′=[x1,x2,...,xp],y′=[y1,y2,...,yp]
d ( x , y ) = ( x − y ) ′ ( x − y ) d(x,y)=\sqrt{(x-y)'(x-y)} d(x,y)=(x−y)′(x−y)
statistical distance 统计距离
d ( x , y ) = ( x − y ) ′ S − 1 ( x − y ) d(x,y)=\sqrt{(x-y)'S^{-1}(x-y)} d(x,y)=(x−y)′S−1(x−y)
Hierarchical Clustering Methods 分层聚类方法
--------------·Linkage Method 连接法
1)single linkage 单连接法
将每个对象看成是一个类,我们的聚类从合并两个最接近的项目开始:
min i , k ( d i k ) = d 53 = 2 \min_{i,k}(d_{ik})=d_{53}=2 i,kmin(dik)=d53=2
对象5和3合并,形成聚类(35)。为确定下一个聚类水平,我们需要得到聚类(35)与其余对象1,2,4之间的距离,最近邻近点的距离为:
d ( 35 ) 1 = m i n { d 31 , d 51 } = m i n { 3 , 11 } = 3 d ( 35 ) 2 = m i n { d 32 , d 52 } = m i n { 7 , 10 } = 7 d ( 35 ) 4 = m i n { d 34 , d 54 } = m i n { 9 , 8 } = 8 d_{(35)1}=min{\{d_{31},d_{51}\}}=min{\{3,11\}}=3\\ d_{(35)2}=min{\{d_{32},d_{52}\}}=min{\{7,10\}}=7\\ d_{(35)4}=min{\{d_{34},d_{54}\}}=min{\{9,8\}}=8 d(35)1=min{
d31,d51}=min{
3,11}=3d(35)2=min{
d32,d52}=min{
7,10}=7d(35)4=min{
d34,d54}=min{
9,8}=8
得到新的距离矩阵:
在这个距离阵中,各对聚类间最小距离为 d ( 35 ) 1 = 3 d_{(35)1}=3 d(35)1=3,于是我们将聚类1与(35)合并在一起得到下一个聚类(135)
d ( 135 ) 2 = m i n { d ( 35 ) 2 , d 12 } = m i n { 7 , 9 } = 7 d ( 135 ) 4 = m i n { d ( 35 ) 4 , d 14 } = m i n { 8 , 6 } = 6 d_{(135)2}=min{\{d_{(35)2},d_{12}\}}=min{\{7,9\}}=7\\ d_{(135)4}=min{\{d_{(35)4},d_{14}\}}=min{\{8,6\}}=6 d(135)2=min{
d(35)2,d12}=min{
7,9}=7d(135)4=min{
d