是一种层次聚类算法,先找到大的聚类,然后在大的聚类里边找小的聚类,所以名字叫top down
除了MinHash 聚类算法,其它聚类算法都可以用到top down的算法中,包括top level和bottom level
top level输出需要后处理,分成多组,这样bottom level聚类可以分别对每个组实施,对应的类是ClusterOutputPostProcessorDriver
聚类算法结束后,一般输出数据放置在两个目录:
clusteredPoints
clusters-0-final
这样的结果bottom level是没法处理的,ClusterOutputPostProcessorDriver以这两个目录为输入计算得到按聚类id分目录的分组
java api
run(Path input, Path output, boolean runSequential)
input:top level的输出目录,里边包含了clusteredPoints和clusters-0-final
output:后处理输出目录
runSequential:是否sequential处理,否的话会使用map-reduce