Mahout Canopy聚类

最新推荐文章于 2024-06-12 00:44:20 发布
最新推荐文章于 2024-06-12 00:44:20 发布
阅读量4.3k 收藏 2
点赞数
分类专栏： Hadoop技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xyilu/article/details/9631677
版权

读过孟岩的《理解矩阵》系列博文[1]~[3]，其中的一段论述让我很受用：学习一门学问，最重要的是把握主干内容，迅速建立对于这门学问的整体概念，不必一开始就考虑所有的细枝末节和特殊情况，自乱阵脚[2]。


本着这样的学习思路，我们按以下步骤来快速了解Mahout中怎么使用Canopy聚类。

* Canopy Clustering是什么？

* 输入数据的格式是什么？

* 输出结果如何查看？


Canopy Clustering是什么？

Canopy Clustering是一种小而美的聚类方法，其算法流程如下：

（1）设样本集合为S，确定两个阈值t1和t2，且t1>t2。

（2）任取一个样本点p属于S，作为一个Canopy，记为C，从S中移除p。

（3）计算S中所有点到p的距离dist。

（4）若dist<t1，则将相应点归到C。

（5）若dist<t2，则将相应点移出S。

（6）重复（2）~（5），直至S为空。


算法的细节我们先不深究，这里只需记住两点：

（1）经过canopy clustering之后，初始样本被聚合成若干类，每一类称为一个canopy；

（2）一个样本点可能分属于几个不同的canopy。

好了，这就是canopy clustering算法的主线，接下来我们要在mahout中把程序run起来。

Mahout Canopy Clustering输入数据格式

以下约定：

* $LOCAL表示本地数据存放目录

* $HADOOP_MAHOUT表示hadoop集群的mahout输出目录

* $MAHOUT_HOME表示本地mahout的安装目录


我们准备的输入数据包含60个样本，每一行数据表示一个样本点。9个字段分别表示9个指标，字段之间以空格分开，形式如下（只列出4个样本）：

1 -0.213  -0.956  -0.003  0.056  0.091  0.017  -0.024  1
1 3.147  2.129  -0.006  -0.056  -0.063  -0.002  0.109  0
1 -2.165  -2.718  -0.008  0.043  -0.103  -0.156  -0.024  1
1 -4.337  -2.686  -0.012  0.122  0.082  -0.021  -0.042  1

数据位置见[5]。


把数据从本地上传到HDFS中：

hadoop fs -put $LOCAL/test-data.csv $HADOOP_MAHOUT/


运行以下命令即可启动canopy clustering：

hadoop jar $MAHOUT_HOME/mahout-examples-0.5-job.jar \
     org.apache.mahout.clustering.syntheticcontrol.canopy.Job \
     -i $HADOOP_MAHOUT/test-data.csv \
     -o $HADOOP_MAHOUT \
     -t1 10 \

     -t2 1


Mahout Canopy Clustering输出结果查看

Canopy Clustering的输出结果就保存在$HADOOP_MAHOUT文件夹下，包含三个子文件：
../clusteredPoints
../clusters-0
../data


clusteredPoints是最后的聚类结果，里面记录了每个向量及其对应所分的类。

clusters-0记录每个类的中心点。
data是原始数据的sequence file格式文件。
clusteredPoints、clusters-0、data文件夹下的数据都是sequence file的形式，不能直接查看。
我们使用下面的命令，将数据转化为可阅读的文本：
mahout seqdumper \
     -s $HADOOP_MAHOUT/clusteredPoints/part-m-00000 \
     -o $LOCAL/clusteredPoints


mahout seqdumper \

     -s $HADOOP_MAHOUT/clusters-0/part-r-00000 \
     -o $LOCAL/clusters-0


clusteredPoints将按照原始数据样本的顺序，展示每个样本分别属于哪个类别，其中key后面的值是类别编号，value后面的值是数据点，如果某个样本的所有指标值都非零，那么会原样列出每个指标的值，如下面样例的第一行；如果存在值为零的指标，那么该指标的值不会列出，同时每个值前面会加上列标签，如下面样例的第二行。

Key: 4: Value: 1.0: [1.000, -0.213, -0.956, -0.003, 0.056, 0.091, 0.017, -0.024, 1.000]
Key: 3: Value: 1.0: [0:1.000, 1:3.147, 2:2.129, 3:-0.006, 4:-0.056, 5:-0.063, 6:-0.002, 7:0.109]
Key: 0: Value: 1.0: [1.000, -2.165, -2.718, -0.008, 0.043, -0.103, -0.156, -0.024, 1.000]
Key: 0: Value: 1.0: [1.000, -4.337, -2.686, -0.012, 0.122, 0.082, -0.021, -0.042, 1.000]


clusters-0给出了每个类别的中心点，如下所示：

Key: C-0: Value: C-0: {8:0.9903846153846154,7:0.03641560060121199,6:-0.011104891601517057,5:-0.018746460252920098,4:0.0018451485029808527,3:0.02659166333809029,2:-2.0914853859015725,1:-2.2735344078494943,0:1.0}
Key: C-1: Value: C-1: {8:0.005681818181818182,7:-0.005705937927015517,6:0.018373023001902314,5:-0.02408518413578759,4:-0.0649238556654074,3:-0.003042417008279087,2:2.5123232537912283,1:2.0664589339683306,0:1.0}
Key: C-2: Value: C-2: {8:0.006493506493506494,7:-0.01019964334516059,6:0.023497740573602648,5:-0.03181163901232867,4:-0.05941297790332273,3:-0.017834190866604666,2:2.382976575761404,1:2.1735244959638065,0:1.0}
Key: C-3: Value: C-3: {8:0.007575757575757576,7:-0.011551099054202508,6:0.023459485214657627,5:-0.02978024551438345,4:-0.05926968634175531,3:-0.016503525708008473,2:2.2626847929337592,1:2.1570361543820167,0:1.0}
Key: C-4: Value: C-4: {8:0.9230769230769231,7:0.04076923076923077,6:-0.011730769230769232,5:-0.019307692307692307,4:0.024653846153846155,3:0.013730769230769239,2:-1.6028076923076924,1:-1.595076923076923,0:1.0}


我们还可以使用clusterdump将clusteredPoints和clusters-0的结果整合在一起，命令行如下：

mahout clusterdump \
     -s $HADOOP_MAHOUT/clusters-0 \
     -p $HADOOP_MAHOUT/clusteredPoints \
     -o $LOCAL/clusters-0-dump


样例为：

C-0{n=8 c=[1.000, -2.274, -2.091, 0.027, 0.002, -0.019, -0.011, 0.036, 0.990] r=[1:0.311, 2:0.264, 3:0.039, 4:0.014, 5:0.004, 6:0.009, 7:0.013, 8:0.025]}
     Weight:  Point:
     1.0: [1.000, -2.165, -2.718, -0.008, 0.043, -0.103, -0.156, -0.024, 1.000]
     1.0: [1.000, -4.337, -2.686, -0.012, 0.122, 0.082, -0.021, -0.042, 1.000]
     1.0: [1.000, -1.647, -2.577, -0.055, -0.035, -0.083, 0.107, -0.059, 1.000]
     1.0: [1.000, -2.652, -4.169, -0.057, -0.029, -0.256, 0.040, 0.018, 1.000]
     1.0: [1.000, -2.882, -3.167, -0.136, -0.155, 0.106, -0.092, 0.198, 1.000]
     1.0: [1.000, -2.650, -1.811, -0.145, 0.069, 0.075, -0.067, 0.124, 1.000]
     1.0: [1.000, -3.843, -2.356, -0.180, -0.092, 0.027, 0.102, -0.086, 1.000]
     1.0: [1.000, -2.056, -1.738, 0.006, -0.135, 0.071, 0.074, -0.004, 1.000]
     1.0: [1.000, -3.038, -1.432, 0.025, 0.146, 0.014, -0.202, 0.044, 1.000]
     1.0: [1.000, -1.853, -2.228, 0.035, 0.160, 0.011, 0.005, -0.094, 1.000]
     1.0: [1.000, -2.003, -2.989, 0.038, 0.143, -0.086, -0.044, 0.015, 1.000]
     1.0: [1.000, -1.883, -2.000, 0.047, -0.037, -0.021, -0.089, 0.054, 1.000]
     1.0: [1.000, -1.817, -2.721, 0.055, -0.256, -0.218, 0.145, 0.063, 1.000]
     1.0: [1.000, -2.384, -1.402, 0.075, 0.069, 0.047, 0.093, 0.008, 1.000]
     1.0: [1.000, -3.550, -4.024, 0.083, -0.019, 0.055, 0.027, -0.093, 1.000]
     1.0: [1.000, -2.859, -2.076, 0.090, 0.125, 0.067, 0.023, 0.087, 1.000]
     1.0: [1.000, -3.173, -2.867, 0.111, -0.094, 0.093, -0.007, -0.066, 1.000]
     1.0: [1.000, -3.201, -1.680, 0.123, -0.002, -0.176, -0.084, 0.056, 1.000]

     1.0: [1.000, -1.899, -2.924, 0.148, 0.008, 0.005, -0.012, 0.210, 1.000]


参考资料：

[1] 理解矩阵（一），http://blog.csdn.net/myan/article/details/647511#
[2] 理解矩阵（二），http://blog.csdn.net/myan/article/details/649018
[3] 理解矩阵（三），http://blog.csdn.net/myan/article/details/1865397
[4] http://micahlabrams.blogspot.com/2011/10/canopy-clustering.html
[5] http://pan.baidu.com/share/link?shareid=418190220&uk=1258687326


mahout 源码解析之聚类--Canopy算法
糊涂人生的专栏
07-26 3363
Canopy算法的实现在包org.apache.mahout.clustering.canopy中。 一、算法基本思想 算法基本思想如下： （1）、将数据集向量化得到一个list后放入内存，选择两个距离阈值：T1和T2，其中T1 > T2，T1和T2的值可以用交叉校验来确定； （2）、从list中任取一点P，用低计算成本方法快速计算点P与所有Canopy之间的距离（如果当前不存在Canop
mahout 实现canopy
weixin_34000916的博客
06-01 161
环境： mahout-0.8 hadoop-1.1.2 ubuntu-12.04 理论这里就不说了，直接上实例： 以下举一个样例。 数据准备： canopy.dat文件。COPY到HDFS上。文件内容例如以下： 8.1 8.1 7.1 7.1 6.2 6.2 7.1 7.1 2.1 2.1 1.1 1.1 0.1 0.1 ...
Mahout canopy聚类
weixin_30765505的博客
05-23 140
Canopy 聚类 一、Canopy算法流程 Canopy 算法，流程简单，容易实现，一下是算法 （1）设样本集合为S，确定两个阈值t1和t2，且t1>t2。 （2）任取一个样本点p，作为一个Canopy，记为C，从S中移除p。 （3）计算S中所有点到p的距离dist （4）若dist<t1，则将相应点归到C,作为弱关联。 （5）若dist<t2，则将相应点...
mahout源码canopy算法分析之二CanopyMapper
星.云计算
07-22 141
首先更正一点，前篇博客里面说到一个Canopy的测试的例子里面有这样的一句代码： buildClusters(Configuration conf, Path input, Path output, DistanceMeasure measure, double t1, double t2, double t3, double t4, int clusterFilte...
Clustering: Canopy
浪不虚传
05-08 166
Canopy 本文介绍聚类算法：canopy   该算法的主要特点：无需设置集群个数   算法的步骤 1. 设置参数T1和T2, 其中T1&gt;T2, 参数敏感 2. 在样本集和钟任务一个样本P, 计算P与所有Canopy之间的距离，初始的时候Canopy为空，直接把P     当成一个Canopy.  如果P与某个Canopy距离在T1以内，则将P认为是一个Canopy。如果在...
mahout聚类算法
04-07
Canopy 聚类算法是一种常用的 Mahout 聚类算法，它可以对数据进行快速的聚类。Canopy 聚类算法的参数有 input、output、distanceMeasure、T1、T2、clusterFilter 等。KMeans 聚类算法是另一种常用的 Mahout 聚类算法...
Mahout源码canopy聚类算法分析（3）
fansy1990的专栏
07-23 3783
经过了前面两篇文章的分析，相信大家对CanopyReducer的分析就不会碰到太大的疑问，因为CanopyReducer的操作简直就和CanopyMapper的操作一模一样，也是把所有的样本数据分为若干组，即又按照map的操作执行了一次，那么就会有同学问了？那不是都不需要用reduce么？大家这里想一下，map的输出和输入有什么区别。假如map的输入有100个样本被分为了5组，并且clusterF
Canopy聚类算法分析
木东的博客
07-27 2175
Canopy聚类算法是可以并行运行的算法，数据并行意味着可以多线程进行，加快聚类速度，开源ML库Mahout使用。 一、概念 与传统的聚类算法(比如 K-means )不同，Canopy 聚类最大的特点是不需要事先指定 k 值( 即 clustering 的个数)，因此具有很大的实际应用价值。与其他聚类算法相比，Canopy聚类虽然精度较低，但其在速度上有很大优势，因此可以使用 C
mahout之聚类实现
ZCC的专栏
05-08 1117
人们常数"物以类聚，人以群分"，聚类就是将一个给定的文档集中相似项目分成不同簇的过程。        聚类设计的过程:        (1)一个聚类算法( k-means、模糊k-means、canopy等)        (2)相似性和不相似性的概念            a.欧式距离            b.平方欧式距离            c. 曼哈顿距离
Canopy聚类思想
12-03 677
一、基本思想      1、基于Canopy Method的聚类算法将聚类过程分为两个阶段       Stage1、聚类最耗费计算的地方是计算对象相似性的时候，Canopy Method在第一阶段选择简单、计算代价较低的方法计算对象相似性，将相似的对象放在一个子集中，这个子集被叫做Canopy ，通过一系列计算得到若干Canopy，Canopy之间可以是重叠的，但不会存在某个对象不属
Mahout – Clustering (聚类篇)
godspeedlaile9的专栏
03-20 810
转：http://www.coder4.com/archives/4181 5 Replies 什么是Mahout？ ” Apache Mahout™ project’s goal is to build a scalable machine learning library ” 我来拓展一下： (1) Mahout 是Apache旗下的开源项目，集成了大量的机器学习
Canopy Clustering
dominic_z的博客
06-30 443
转载 原文链接：http://picksesame.blogspot.com/2011/05/canopy-clustering.html Canopy Clustering Lately I was introduced to a clustering algorithm called “canopy clustering”. In plain English, like all othe...
Canopy Clustering（Canopy聚类）
weixin_33774308的博客
06-22 249
为什么80%的码农都做不了架构师？>>> ...
mahout之canopy聚类
july_2的专栏
07-17 792
1.Canopy聚类  Canopy聚类是一种简单、快速、但不太准确的聚类方法。  该算法需一种快速的近似距离度量方法和两个距离阈值T1>T2。 while(没有标记的数据点){     选择一个没有强标记的数据点p     把p看作一个新Canopy c的中心     离p距离     离p距离 } Canopy聚类常作为更强聚类方法的初始步骤。 mahout
Mahout聚类算法原理与代码实例讲解
最新发布
AI天才研究院
06-12 619
Mahout聚类算法原理与代码实例讲解 1.背景介绍 聚类是一种重要的数据挖掘和机器学习技术,旨在将数据集划分为多个组或簇,使得同一簇内的对象彼此相似,而不同簇之间的对象差异较大。聚类在许多领域都有广泛的应用,如客户细分、社交网络分析、图像分割、异常检测等。 Apache
mahout之canopy聚类算法
wanghailong000的博客
11-24 938
mahout中数据挖掘算法是运行在hadoop之上的分布式算法，可以分布式运行也可以在单机上运行。 这篇博文是本人你学习mahout算法的开始，以下是个人对mahout中实现的canopy的理解，如果错误，欢迎纠正 首先下载mahout-0.12的源码，解压后有个examples文件夹，该文件夹里面有对mahout算法使用的例子，打开 \examples\src\main\java\
mahout源码canopy算法分析之三CanopyReducer
星.云计算
07-23 153
经过了前面两篇文章的分析，相信大家对CanopyReducer的分析就不会碰到太大的疑问，因为CanopyReducer的操作简直就和CanopyMapper的操作一模一样，也是把所有的样本数据分为若干组，即又按照map的操作执行了一次，那么就会有同学问了？那不是都不需要用reduce么？大家这里想一下，map的输出和输入有什么区别。假如map的输入有100个样本被分为了5组，并且clusterF...
Mahout 系列之--canopy 算法
weixin_30872789的博客
11-09 117
Canopy 算法，流程简单，容易实现，一下是算法 （1）设样本集合为S，确定两个阈值t1和t2，且t1>t2。 （2）任取一个样本点p属于S，作为一个Canopy，记为C，从S中移除p。 （3）计算S中所有点到p的距离dist （4）若dist<t1，则将相应点归到C,作为弱关联。 （5）若dist<t2，则将相应点移出S，作为强关联。 （6）重复（2）...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值