python实现一个层次聚类方法

层次聚类(Hierarchical Clustering)

一.概念

层次聚类不需要指定聚类的数目，首先它是将数据中的每个实例看作一个类，然后将最相似的两个类合并，该过程迭代计算只到剩下一个类为止，类由两个子类构成，每个子类又由更小的两个子类构成。如下图所示：

二.合并方法

在聚类中每次迭代都将两个最近的类进行合并，这个类间的距离计算方法常用的有三种：

1.单连接聚类(Single-linkage clustering)

在单连接聚类中，两个类间的距离定义为一个类的所有实例到另一个类的所有实例之间最短的那个距离。如上图中类A(A1,A2)，B(B1,B2)，C(C1,C2)，A类和B类间的最短距离是A1到B1，所以A类与B类更近，所有A和B合并。

2.全连接聚类(Complete-linkage clustering)

在全连接聚类中，两个类间的距离定义为一个类的所有实例到另一个类的所有实例之间最长的那个距离。图中A类和B类间最长距离是A2到B2，B类和C类最长距离是B1到C1，distance(B1-C1)<distance(A2-B2)，所以B类和C类合并在一起。

3.平均连接聚类(Average-linkage clustering)

在平均连接聚类中，类间的距离为一个类的所有实例到另一个类的所有实例的平均距离。

三.python实现(单连接)

  1 #!/usr/bin/python
  2 # -\*- coding: utf-8 -\*-
  3 
  4 from queue import PriorityQueue  5 import math  6 import codecs  7 
  8 
  9 """
 10 层次聚类
 11 """
 12 class HCluster: 13 
 14     #一列的中位数
 15     def getMedian(self,alist): 16         tmp = list(alist) 17         tmp.sort()
 18         alen = len(tmp) 19         if alen % 2 == 1:
 20             return tmp\[alen // 2\]
 21         else:
 22             return (tmp\[alen // 2\] + tmp\[(alen // 2) - 1\]) / 2
 23 
 24     #对数值型数据进行归一化，使用绝对标准分\[绝对标准差->asd=sum(x-u)/len(x),x的标准分->(x-u)/绝对标准差，u是中位数\]
 25     def normalize(self,column): 26         median = self.getMedian(column) 27         asd = sum(\[abs(x - median) for x in column\]) / len(column) 28         result = \[(x - median) / asd for x in column\] 29         return result 30 
 31     def \_\_init\_\_(self,filepath):
 32         self.data={}
 33         self.counter=0
 34         self.queue=PriorityQueue()
 35         line\_1=True#开头第一行
 36         with codecs.open(filepath,'r','utf-8') as f:
 37             for line in f: 38                 #第一行为描述信息
 39                 if line\_1: 40                     line\_1=False
 41                     header=line.split(',')
 42                     self.cols=len(header)
 43                     self.data=\[\[\] for i in range(self.cols)\] 44                 else:
 45                     instances=line.split(',')
 46                     toggle=0
 47                     for instance in range(self.cols): 48                         if toggle==0:
 49                             self.data\[instance\].append(instances\[instance\])
 50                             toggle=1
 51                         else:
 52                             self.data\[instance\].append(float(instances\[instance\]))
 53         #归一化数值列
 54         for i in range(1,self.cols):
 55             self.data\[i\]=self.normalize(self.data\[i\])
 56 
 57         #欧氏距离计算元素i到所有其它元素的距离，放到邻居字典中，比如i=1,j=2...，结构如i=1的邻居-》{2: ((1,2), 1.23),  3: ((1, 3), 2.3)... }
 58         #找到最近邻
 59         #基于最近邻将元素放到优先队列中
 60         #data\[0\]放的是label标签，data\[1\]和data\[2\]是数值型属性
 61         rows=len(self.data\[0\])
 62         for i in range(rows): 63             minDistance=10000
 64             nearestNeighbor=0
 65             neighbors={}
 66             for j in range(rows): 67                 if i!=j:
 68                     dist=self.distance(i,j)
 69                     if i<j:
 70                         pair=(i,j)
 71                     else:
 72                         pair=(j,i)
 73                     neighbors\[j\]=(pair,dist)
 74                     if dist<minDistance:
 75                         minDistance=dist
 76                         nearestNeighbor=j
 77             #创建最近邻对
 78             if i<nearestNeighbor:
 79                 nearestPair=(i,nearestNeighbor)
 80             else:
 81                 nearestPair=(nearestNeighbor,i)
 82             #放入优先对列中，(最近邻距离，counter,\[label标签名，最近邻元组，所有邻居\])
 83             self.queue.put((minDistance,self.counter,\[\[self.data\[0\]\[i\]\],nearestPair,neighbors\]))
 84             self.counter+=1
 85 
 86     #欧氏距离,d(x,y)=math.sqrt(sum((x-y)\*(x-y)))
 87     def distance(self,i,j): 88         sumSquares=0
 89         for k in range(1,self.cols):
 90             sumSquares+=(self.data\[k\]\[i\]-self.data\[k\]\[j\])\*\*2
 91         return math.sqrt(sumSquares) 92 
 93     #聚类
 94     def cluster(self): 95         done=False
 96         while not done: 97             topOne=self.queue.get()
 98             nearestPair=topOne\[2\]\[1\]
 99             if not self.queue.empty():
100                 nextOne=self.queue.get()
101                 nearPair=nextOne\[2\]\[1\]
102                 tmp=\[\]
103                 #nextOne是否是topOne的最近邻，如不是继续找
104                 while nearPair!=nearestPair:
105                     tmp.append((nextOne\[0\],self.counter,nextOne\[2\]))
106                     self.counter+=1
107                     nextOne=self.queue.get()
108                     nearPair=nextOne\[2\]\[1\]
109                 #重新加回Pop出的不相等最近邻的元素
110                 for item in tmp:
111 self.queue.put(item)
112 
113                 if len(topOne\[2\]\[0\])==1:
114                     item1=topOne\[2\]\[0\]\[0\]
115                 else:
116                     item1=topOne\[2\]\[0\]
117                 if len(nextOne\[2\]\[0\])==1:
118                     item2=nextOne\[2\]\[0\]\[0\]
119                 else:
120                     item2=nextOne\[2\]\[0\]
121                 #联合两个最近邻族成一个新族
122                 curCluster=(item1,item2)
123                 #下面使用单连接方法建立新族中的邻居距离元素，一：计算上面新族的最近邻。二：建立新的邻居。如果 item1和item3距离是2，item2和item3距离是4，则在新族中的距离是2
124                 minDistance=10000
125                 nearestPair=()
126                 nearestNeighbor=''
127                 merged={}
128                 nNeighbors=nextOne\[2\]\[2\]
129                 for key,value in topOne\[2\]\[2\].items():
130                     if key in nNeighbors:
131                         if nNeighbors\[key\]\[1\]<value\[1\]:
132                             dist=nNeighbors\[key\]
133                         else:
134                             dist=value
135                         if dist\[1\]<minDistance:
136                             minDistance=dist\[1\]
137                             nearestPair=dist\[0\]
138                             nearestNeighbor=key
139                         merged\[key\]=dist
140                 if merged=={}:
141                     return curCluster
142                 else:
143 self.queue.put((minDistance,self.counter,\[curCluster,nearestPair,merged\]))
144                     self.counter+=1
145 
146 if \_\_name\_\_\=='\_\_main\_\_':
147     hcluser=HCluster('filePath')
148     cluser=hcluser.cluster()
149     print(cluser)

参考：1.machine.learning.an.algorithmic.perspective.2nd.edition.

2.a programmer’s guide to data mining