CHAMELEON是一种两阶段聚类法。第一阶段把点分成很多小的簇;第二阶段根据相近程度合并这些小的簇。第一阶段采用K最邻近法,即把一个点和它最邻近的K个点连接起来。第二阶段计算任意两个簇的互连性RI和紧密性RC,当两个指标都比较大时才合并这两个簇。
相对互连度
相对紧密度
|Ci|表示簇i内数据点的个数;EC(Ci)表示簇i内所有边的权重和;EC(Ci,Cj)表示跨越两个簇的所有边的权重和。
下图是第一阶段后形成的几个小的子簇:
把子簇合并后形成的最终簇划分:
CHAMELEON具有两个特点:(1)适合于高维数据的聚类,在文本分类中,每个文本都被表示为一个数千维的向量。(2)采用k-邻近图可以动态地捕捉邻域概念,在稠密区域邻域比较窄,在稀疏区域邻域比较宽,这相比于DBSCAN中的全局邻域密度来说容易获得更自然的邻域。
下面给出CHAMELEON算法的核心代码:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
|
/**
* Author: Orisun
* Date: Sep 13, 2011
* FileName: chameleon.java
* Function:
*/
package
orisun;
import
java.io.DataInputStream;
import
java.io.DataOutputStream;
import
java.io.File;
import
java.io.FileNotFoundException;
import
java.io.FileOutputStream;
import
java.io.FileInputStream;
import
java.io.IOException;
import
java.util.zip.DeflaterOutputStream;
import
java.util.zip.InflaterInputStream;
import
java.util.ArrayList;
import
java.util.Comparator;
import
java.util.HashMap;
import
java.util.Iterator;
import
java.util.LinkedList;
import
java.util.Map;
import
java.util.PriorityQueue;
import
java.util.Map.Entry;
import
java.util.Queue;
import
java.util.Vector;
public
class
Chameleon {
float
[][] W;
// weight矩阵(方阵)
byte
[][] Conn;
// 连接矩阵(方阵)
Vector<Vector<Integer>> clusters;
double
MI;
// 综合指数
// 构造函数,初始化变量
public
Chameleon(
int
datanum,
double
mi) {
W =
new
float
[datanum][];
for
(
int
i =
0
; i < datanum; i++) {
W[i] =
new
float
[datanum];
}
Conn =
new
byte
[datanum][];
for
(
int
i =
0
; i < datanum; i++) {
// 由于是无向图,连接矩阵是对称的,所以我们只用矩阵的下三角以节约空间
Conn[i] =
new
byte
[i +
1
];
}
clusters =
new
Vector<Vector<Integer>>();
MI = mi;
}
// 构造weight矩阵。根据两点间距离的倒数计算两点的相似度,作为连接权重
public
void
buildWeightMatrix(ArrayList<DataObject> objects) {
for
(
int
i =
0
; i < W.length; i++) {
W[i][i] =
1
.0f;
for
(
int
j = i +
1
; j < W[i].length; j++) {
float
dist = (
float
) Global.calEuraDist(objects.get(i)
.getVector(), objects.get(j).getVector(), objects
.get(j).getVector().length);
W[i][j] = W[j][i] =
1
/ (
1
+ dist);
}
}
}
// 把weight矩阵写入文件,下次计算相同实例时免得重新计算
public
void
writeWeightToFile(File file) {
DataOutputStream fout;
try
{
fout =
new
DataOutputStream(
new
DeflaterOutputStream(
new
FileOutputStream(file)));
fout.writeInt(W.length);
//先把方阵的边长写入文件
for
(
int
i=
0
;i<W.length;i++)
for
(
int
j=
0
;j<W.length;j++)
fout.writeFloat(W[i][j]);
fout.close();
}
catch
(FileNotFoundException e) {
System.err.println(
"File Not Found!"
);
}
catch
(IOException e){
e.printStackTrace();
}
}
// 从文件读入weight矩阵
public
void
readWeightFromFile(File file){
DataInputStream fin;
try
{
fin =
new
DataInputStream(
new
InflaterInputStream(
new
FileInputStream(file)));
fin.readInt();
//第一个数字是方阵的边长,略过
for
(
int
i=
0
;i<W.length;i++)
for
(
int
j=
0
;j<W.length;j++)
W[i][j]=fin.readFloat();
fin.close();
}
catch
(FileNotFoundException e) {
System.err.println(
"File Not Found!"
);
}
catch
(IOException e){
e.printStackTrace();
}
}
// CHAMELEON第一阶段,按照K最邻近建立较小的子簇
public
void
buildSmallCluster() {
PriorityQueue<Entry<Integer, Float>> pq =
new
PriorityQueue<Entry<Integer, Float>>(
Global.k,
new
Comparator<Map.Entry<Integer, Float>>() {
public
int
compare(Entry<Integer, Float> arg0,
Entry<Integer, Float> arg1) {
return
arg0.getValue().compareTo(arg1.getValue());
}
});
for
(
int
i =
0
; i < W.length; i++) {
pq.clear();
int
j =
0
;
HashMap<Integer, Float> map =
new
HashMap<Integer, Float>();
// 找到与object距离最小(亦即相似度最大)的K个点
for
(; j < Global.k; j++) {
map.clear();
map.put(j, W[i][j]);
pq.add(map.entrySet().iterator().next());
}
for
(; j < W[i].length; j++) {
if
(W[i][j] > pq.peek().getValue()) {
pq.poll();
map.clear();
map.put(j, W[i][j]);
pq.add(map.entrySet().iterator().next());
}
}
for
(j =
0
; j < Global.k; j++) {
Entry<Integer, Float> entry = pq.poll();
if
(i > entry.getKey())
Conn[i][entry.getKey()] =
1
;
else
if
(i < entry.getKey())
Conn[entry.getKey()][i] =
1
;
// 对角线上的设为0
}
}
// 根据连接矩阵构造连通子图
boolean
[] visited =
new
boolean
[W.length];
boolean
allvisited =
false
;
while
(!allvisited) {
allvisited =
true
;
L1:
for
(
int
i =
0
; i < W.length; i++) {
if
(visited[i])
continue
;
allvisited =
false
;
// 搜寻第i列,以图发现新子图的第一个点
for
(
int
j = i +
1
; j < W.length; j++) {
// 发现了新子图的第一个点
if
(Conn[j][i] ==
1
) {
Vector<Integer> cluster =
new
Vector<Integer>();
Queue<Integer> queue =
new
LinkedList<Integer>();
queue.add(i);
queue.add(j);
while
(!queue.isEmpty()) {
int
ele = queue.poll();
cluster.add(ele);
visited[ele] =
true
;
// 遍历第ele列
for
(
int
k = ele +
1
; k < W.length; k++) {
if
(visited[k])
continue
;
if
(Conn[k][ele] ==
1
&& !queue.contains(k)) {
queue.add(k);
}
}
// 遍历第ele行
for
(
int
k =
0
; k < ele; k++) {
if
(visited[k])
continue
;
if
(Conn[ele][k] ==
1
&& !queue.contains(k))
queue.add(k);
}
}
clusters.add(cluster);
break
L1;
}
}
}
}
}
// 打印子簇
public
void
printClusters() {
for
(
int
i =
0
; i < clusters.size(); i++) {
System.out.print(
"以下数据点属于第"
+ i +
"簇:"
);
Iterator<Integer> iter = clusters.get(i).iterator();
while
(iter.hasNext()) {
System.out.print(iter.next() +
","
);
}
System.out.println();
}
}
// CHAMELEON第二阶段,合并相对互联度RI和相对紧密度RC都较高的簇
public
void
cluster() {
int
len = clusters.size();
float
[] EC1 =
new
float
[len];
for
(
int
i =
0
; i < len; i++) {
Vector<Integer> vec = clusters.get(i);
for
(
int
j =
0
; j < vec.size(); j++) {
for
(
int
k =
0
; k < vec.size(); k++) {
EC1[i] += W[vec.get(j)][vec.get(k)];
}
}
}
boolean
end =
true
;
for
(
int
i =
0
; i < clusters.size(); i++) {
for
(
int
j = i +
1
; j < clusters.size(); j++) {
Vector<Integer> vec1 = clusters.get(i);
Vector<Integer> vec2 = clusters.get(j);
float
EC =
0
.0f;
float
RI =
0
.0f;
float
SEC =
0
.0f;
float
RC =
0
.0f;
for
(
int
k =
0
; k < vec1.size(); k++) {
for
(
int
m =
0
; m < vec2.size(); m++) {
EC += W[vec1.get(k)][vec2.get(m)];
}
}
RI =
2
* EC / (EC1[i] + EC1[j]);
RC = (vec1.size() + vec2.size()) * EC
/ (vec2.size() * EC1[i] + vec1.size() * EC1[j]);
// 以RI*RC作为综合指数
if
(RI * RC > MI) {
mergeClusters(i, j);
end =
false
;
break
;
}
}
}
// 递归合并子簇
if
(!end)
cluster();
}
// 把簇b合并到簇a里面去
public
void
mergeClusters(
int
a,
int
b) {
Iterator<Integer> iter = clusters.get(b).iterator();
while
(iter.hasNext()) {
clusters.get(a).add(iter.next());
}
clusters.remove(b);
}
public
static
void
main(String[] args) {
Global.setK(
2
);
// 2最邻近,这里面包括它自己
DataSource datasource =
new
DataSource();
datasource.readMatrix(
new
File(
"/home/orisun/test/dot.mat"
));
datasource.readRLabel(
new
File(
"/home/orisun/test/dot.rlabel"
));
// datasource.readMatrix(new File("/home/orisun/test/text.normalized.mat"));
// datasource.readRLabel(new File("/home/orisun/test/text.rlabel"));
// File wfile=new File("/home/orisun/test/test_weight");
// if(!wfile.exists()){
// try {
// wfile.createNewFile();
// } catch (IOException e) {
// e.printStackTrace();
// }
// }
//综合指数0.1
Chameleon cham =
new
Chameleon(datasource.row,
0.1
);
// cham.readWeightFromFile(wfile);
cham.buildWeightMatrix(datasource.objects);
// cham.writeWeightToFile(wfile);
cham.buildSmallCluster();
System.out.println(
"==============第一阶段后的分类结果=============="
);
cham.printClusters();
cham.cluster();
System.out.println(
"==============第二阶段后的分类结果=============="
);
cham.printClusters();
}
}
|
原文来自:博客园(华夏35度)http://www.cnblogs.com/zhangchaoyang 作者:Orisun