使用Mahout运行kmeans算法

于 2018-01-18 20:24:17 发布
阅读量869 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/muyimo/article/details/79100382
版权
1.下载data文件
cd ~
curl -O http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data

2.创建测试目录testdata，并把数据导入到这个tastdata目录中(这里的目录的名字只能是testdata)

hadoop fs -mkdir testdata
cd ~
hadoop fs -put synthetic_control.data testdata
3.使用kmeans算法
hadoop jar /usr/local/opt/mahout/libexec/mahout-examples-0.13.0-job.jar  org.apache.mahout.clustering.syntheticcontrol.kmeans.Job


4.查看结果

hadoop fs -lsr output


洞之蝉
关注
Mahout Kmeans Clustering 学习
zhan8610189的专栏
05-04 245
一、Mahout命令使用 合成控制的数据集 synthetic_control.data 可以从 此处下载，总共由600行X60列double型的数据组成， 意思是有600个元组，每个元组是一个时间序列。 1. 把数据拷到集群上，放到kmeans/目录下 hadoop fs -mv synthetic_control.data kmeans/synthetic_control.data ...
利用Mahout实现在Hadoop上运行K-Means算法
summerhai
11-21 2833
K-Means算法是基于分划分的最基本的聚类算法，是学习机器学习、数据挖掘等技术的最基本的 知识，所以掌握其运行原理是很重要的。     转载请注明出处： http://hanlaiming.freetzi.com/?p=144     一、介绍Mahout     Mahout是Apache下的开源机器学习软件包，目前实现的机器学习算法主要包含有协同过滤/推荐引擎，聚类和分类三
Mahout系列之----kmeans 聚类
weixin_30443075的博客
11-09 213
Kmeans是最经典的聚类算法之一，它的优美简单、快速高效被广泛使用。 Kmeans算法描述 输入：簇的数目k；包含n个对象的数据集D。 输出：k个簇的集合。 方法： 从D中任意选择k个对象作为初始簇中心；repeat;根据簇中对象的均值，将每个对象指派到最相似的簇；更新簇均值，即计算每个簇中对象的均值；计算准则函数；until准则函数不在发生变化。 Kmeans 算法...
mahout使用KMeans算法
Cody的笔记本
12-01 5321
mahout提供了内存中和分布式的两种KMeans聚类实现。下面是内存中KMeans的代码示例，示例代码使用了最简单的一维向量作为输入： /** * Tests KMeans cluster algorithm in memory, note the test uses only 1-D vector * i.e., a vector of a single do
mahout kmeans 测试
flyeagle88的专栏
10-14 901
hadoop jar /opt/cloudera/parcels/CDH/lib/mahout/mahout-examples-0.7-cdh4.3.0-job.jar \ org.apache.mahout.clustering.syntheticcontrol.kmeans.Job
mahout之Kmeans使用及结果分析
some_321的专栏
07-12 485
Mahout-Kmeans 1，两个输入路径：一个是数据的点；一个是初始集群。      点的输入文件是SequenceFile(Key, VectorWritable)格式；       而初始集群的输入文件格式是SequenceFiles(Text, Cluster | Canopy) 2，每次迭代会产生一个输出目录“cluster-N”，输出文件格式为SequenceFile(T...
mahout聚类算法
04-07
Mahout 聚类算法可以分为多种类型，如 Canopy、KMeans、Fuzzy-KMeans、Spectral Clustering 等，每种算法都有其自己的特点和应用场景。 在 Mahout 聚类算法中，数据模型是数据的基本结构，它可以是 DenseVector、...
mahout canopy+kmeans测试数据
11-08
先利用Canopy算法对数据进行初步的分组，减少数据规模，然后在每个Canopy内部运行K-means算法，以获得更精确的聚类结果。这种方法不仅可以提高聚类的速度，还可以改善聚类的质量，尤其是在处理大数据集时表现得尤为...
mahout下的Hadoop平台上的Kmeans算法实现
小新新的专栏
04-05 5184
Mahout主要有协同过滤、聚类和分类三种算法的实现。现在我们就用Mahout来实现经典的Kmeans聚类算法。并且在Hadoop平台上跑出个结果！
hadoop下mahout kmeans算法研究（2）
张大彪的专栏
08-31 9561
KMeans算法和简单命令使用（2）   接上篇：hadoop下mahout-kmeans算法研究（1）   如果对本文档有任何建议或者认为有错误的地方欢迎联系本人 大家一起进步啊 红色的字体：重点和注意事项 蓝色的字体：出现的问题和解决/未解决 绿色的字体：个人建议 数据输入格式 测试数据         每个数据和数据之间用空格分开，数据都是double型的  ...
mahout所需jar包
11-17
Mahout支持K-Means等聚类算法，在此zip包中已经有打好jar包的资源，不需要用户再打jar包，可以直接使用。
mahout （一）kmeans的使用
山歌嘎子
11-27 340
原文地址：http://mahout.apache.org/users/clustering/k-means-commandline.html
mahout中的kmeans简单实例
aidayei的专栏
07-30 4051
在Mahout_in_Action这本书中，有个kmeans的简单实例，可书中只给了源代码，而并没有指出要导入哪些包才能正确运行 这本书在前面提到书中所有代码都是基于mahout0.4版本的，可是我发现这个kmeans的例子，却是基于mahout0.3的，有几个函数0.4版中是
mahout k-means
小蝴蝶
03-09 398
Kmeans算法是应用的最广泛的基于划分的算法，实验室有个小伙伴最后的毕业论文也是基于kmeans聚类进行研究的（咦。。。好像前言不搭后语）。        kmeans算法的大致思想是：首先随机选取K个数据对象，每个数据对象分别代表了K个簇的中心点，对于剩下的每个对象，分别计算该对象到各个中心点的距离，并将他们分配给最近的簇，然后重新计算各个簇的中心。重复这个过程，直至聚类准则函数收敛。准则函
mahout k-means实战
小蝴蝶
03-10 559
关于聚类算法，在参与项目期间，真正用的比较多和有具体操作的是kmeans算法，因此这里就只说下mahout  kmeans整体运行的IPO以及一些细节问题。
Mahout K-means聚类
葱葱的城堡
08-08 6104
以下约定： * $LOCAL表示本地数据存放目录 * $HADOOP_MAHOUT表示hadoop集群的mahout输出目录 * $MAHOUT_HOME表示本地mahout的安装目录 --上传数据 hf -put $MAHOUT_HOME/test-data.csv \ $HADOOP_MAHOUT/testdata --hadoop命令行执行kmeans clus
机器学习开源项目mahout+用其开发推荐引擎
TreeFish2012的专栏
03-09 1300
机器学习开源项目mahout+用其开发推荐引擎 Apache Mahout 是 Apache Software Foundation（ASF） 旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。经典算法包括聚类、分类、协同过 滤、进化编程等等，并且，在 Mahout 的最近版本中还加入了对 Apac
mahout-example中kmeans详解（1）宏观上了解kmeans源码
todo-hadoop学习记录
04-10 1575
作为熟悉mahout中算法的第一步，
kmeans 算法 java实现
最新发布
06-05
在Java编程语言中，实现K-Means算法可以使用一些开源的第三方机器学习库，例如Weka、Apache Mahout等。 以Weka为例，其提供了丰富的聚类算法实现，包括K-Means。用户可以使用Weka提供的API来实现K-Means算法。首先...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值