hadoop之测试KMeans(一)：运行源码实例

最新推荐文章于 2022-09-11 10:30:09 发布
最新推荐文章于 2022-09-11 10:30:09 发布
阅读量243 收藏 1
点赞数 1
文章标签： 数据结构与算法 大数据 java

新学hadoop，测试了hello word级别的程序WordCount，打算用hadoop做聚类分析，这次测试KMeans，二维的数据，具体代码来自于http://download.csdn.net/detail/tinycui/4384750#comment，由于评论中大家对于文档偏少，所以这里详细的介绍一下我的测试过程（伪分布式），以供参考，同时感谢tinycui提供的源代码下载。


Step1: 配置好eclipse和hadoop，具体可以参考网上一些操作。

Step2: 新建一个Project --> Map/Reduce Project工程，命名为KMeans，这里记得要选择Map/Reduce Project工程，否则把代码加进来会出现import错误

Step3: 用tinycui提供的网址下载KMeans的源代码，把src和bin文件覆盖到自己新建的工程中，并在eclipse中刷新KMeans工程

Step4: 在DFS中新建两个文件夹center, cluster, 并在center文件夹中上传一个空的文件center以存放每次迭代的center值，在cluter文件夹中上传cluster的文件，这个文件中是输入数据，数据格式为：(20,30) (50,61) (20,32) (50,64) (59,67) (24,34) (19,39) (20,32) (50,65) (50,77) (20,30) (20,31) (20,32) (50,64) (50,67)

Step5: 配置main的输入参数，Run --> Run Configurations中的Arguments中配置main的三个参数：输入路径，存放KMeans的中心的路径，输出路径，中间空格隔开。

分别为

hdfs://192.168.56.171:9000/cluster

hdfs://192.168.56.171:9000/center

hdfs://192.168.56.171:9000/ouput

这里的IP可以填写自己的IP地址或者localhost

Step6: 修改部分配置代码，具体代码可以参考如下：

主程序KMeans.java

[java] view plain copy
  1. importorg.apache.hadoop.conf.Configuration;
  2. importorg.apache.hadoop.fs.FileSystem;
  3. importorg.apache.hadoop.fs.Path;
  4. importorg.apache.hadoop.io.Text;
  5. importorg.apache.hadoop.mapreduce.Job;
  6. importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  7. importorg.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  10. publicclassKMeans{
  12. publicstaticvoidmain(String[]args)throwsException
  13. {
  14. CenterInitialcenterInitial=newCenterInitial();
  15. centerInitial.run(args);
  16. inttimes=0;
  17. doubles=0,shold=0.0001;
  18. do{
  19. Configurationconf=newConfiguration();
  20. conf.set("fs.default.name","hdfs://192.168.56.171:9000");
  21. Jobjob=newJob(conf,"KMeans");
  22. job.setJarByClass(KMeans.class);
  23. job.setOutputKeyClass(Text.class);
  24. job.setOutputValueClass(Text.class);
  25. job.setMapperClass(KMapper.class);
  26. job.setMapOutputKeyClass(Text.class);
  27. job.setMapOutputValueClass(Text.class);
  28. job.setReducerClass(KReducer.class);
  29. FileSystemfs=FileSystem.get(conf);
  30. fs.delete(newPath(args[2]),true);
  31. FileInputFormat.addInputPath(job,newPath(args[0]));
  32. FileOutputFormat.setOutputPath(job,newPath(args[2]));
  33. job.waitForCompletion(true);
  34. if(job.waitForCompletion(true))
  35. {
  36. NewCenternewCenter=newNewCenter();
  37. s=newCenter.run(args);
  38. times++;
  39. }
  40. }while(s>shold);
  41. System.out.println("Iterator:"+times);
  42. }
  44. }

初始化中心CenterInitial.java

[java] view plain copy
  1. importjava.io.ByteArrayInputStream;
  2. importjava.io.ByteArrayOutputStream;
  3. importjava.io.IOException;
  4. importjava.io.OutputStream;
  5. importjava.net.URI;
  7. importorg.apache.hadoop.conf.Configuration;
  8. importorg.apache.hadoop.fs.FSDataInputStream;
  9. importorg.apache.hadoop.fs.FileSystem;
  10. importorg.apache.hadoop.fs.Path;
  11. importorg.apache.hadoop.io.IOUtils;
  14. publicclassCenterInitial{
  17. publicvoidrun(String[]args)throwsIOException
  18. {
  19. String[]clist;
  20. intk=5;
  21. Stringstring="";
  22. Stringinpath=args[0]+"/cluster";//cluster
  23. Stringoutpath=args[1]+"/center";//center
  24. Configurationconf1=newConfiguration();//读取hadoop文件系统的配置
  25. conf1.set("hadoop.job.ugi","hadoop,hadoop");
  26. FileSystemfs=FileSystem.get(URI.create(inpath),conf1);//FileSystem是用户操作HDFS的核心类，它获得URI对应的HDFS文件系统
  27. FSDataInputStreamin=null;
  28. ByteArrayOutputStreamout=newByteArrayOutputStream();
  29. try{
  31. in=fs.open(newPath(inpath));
  32. IOUtils.copyBytes(in,out,50,false);//用Hadoop的IOUtils工具方法来让这个文件的指定字节复制到标准输出流上
  33. clist=out.toString().split("");
  34. }finally{
  35. IOUtils.closeStream(in);
  36. }
  38. FileSystemfilesystem=FileSystem.get(URI.create(outpath),conf1);
  40. for(inti=0;i<k;i++)
  41. {
  42. intj=(int)(Math.random()*100)%clist.length;
  43. if(string.contains(clist[j]))//choosethesameone
  44. {
  45. k++;
  46. continue;
  47. }
  48. string=string+clist[j].replace("","")+"";
  49. }
  50. OutputStreamout2=filesystem.create(newPath(outpath));
  51. IOUtils.copyBytes(newByteArrayInputStream(string.getBytes()),out2,4096,true);//writestring
  52. System.out.println(string);
  53. }
  55. }

KMapper.java

[java] view plain copy
  1. importjava.io.ByteArrayOutputStream;
  2. importjava.io.IOException;
  3. importjava.net.URI;
  4. importjava.util.StringTokenizer;
  6. importorg.apache.hadoop.conf.Configuration;
  7. importorg.apache.hadoop.fs.FSDataInputStream;
  8. importorg.apache.hadoop.fs.FileSystem;
  9. importorg.apache.hadoop.fs.Path;
  10. importorg.apache.hadoop.io.IOUtils;
  11. importorg.apache.hadoop.io.LongWritable;
  12. importorg.apache.hadoop.io.Text;
  13. importorg.apache.hadoop.mapreduce.Mapper;
  16. publicclassKMapperextendsMapper<LongWritable,Text,Text,Text>{
  18. privateString[]center;
  20. protectedvoidsetup(Contextcontext)throwsIOException,InterruptedException//readcenterlist,andsavetocenter[]
  21. {
  22. Stringcenterlist="hdfs://192.168.56.171:9000/center/center";//center文件
  23. Configurationconf1=newConfiguration();
  24. conf1.set("hadoop.job.ugi","hadoop-user,hadoop-user");
  25. FileSystemfs=FileSystem.get(URI.create(centerlist),conf1);
  26. FSDataInputStreamin=null;
  27. ByteArrayOutputStreamout=newByteArrayOutputStream();
  28. try{
  30. in=fs.open(newPath(centerlist));
  31. IOUtils.copyBytes(in,out,100,false);
  32. center=out.toString().split("");
  33. }finally{
  34. IOUtils.closeStream(in);
  35. }
  36. }
  38. publicvoidmap(LongWritablekey,Textvalue,Contextcontext)throwsIOException,InterruptedException
  39. {
  40. StringTokenizeritr=newStringTokenizer(value.toString());
  41. while(itr.hasMoreTokens())
  42. {
  43. StringoutValue=newString(itr.nextToken());
  44. String[]list=outValue.replace("(","").replace(")","").split(",");
  45. String[]c=center[0].replace("(","").replace(")","").split(",");
  46. floatmin=0;
  47. intpos=0;
  48. for(inti=0;i<list.length;i++)
  49. {
  50. min+=(float)Math.pow((Float.parseFloat(list[i])-Float.parseFloat(c[i])),2);
  51. }
  52. for(inti=0;i<center.length;i++)
  53. {
  54. String[]centerStrings=center[i].replace("(","").replace(")","").split(",");
  55. floatdistance=0;
  56. for(intj=0;j<list.length;j++)
  57. distance+=(float)Math.pow((Float.parseFloat(list[j])-Float.parseFloat(centerStrings[j])),2);
  58. if(min>distance)
  59. {
  60. min=distance;
  61. pos=i;
  62. }
  63. }
  64. context.write(newText(center[pos]),newText(outValue));
  65. }
  66. }
  68. }

KReducer.java

[java] view plain copy
  1. importjava.io.IOException;
  3. importorg.apache.hadoop.io.Text;
  4. importorg.apache.hadoop.mapreduce.Reducer;
  7. publicclassKReducerextendsReducer<Text,Text,Text,Text>{
  10. publicvoidreduce(Textkey,Iterable<Text>value,Contextcontext)throwsIOException,InterruptedException
  11. {
  12. StringoutVal="";
  13. intcount=0;
  14. Stringcenter="";
  15. intlength=key.toString().replace("(","").replace(")","").replace(":","").split(",").length;
  16. float[]ave=newfloat[Float.SIZE*length];
  17. for(inti=0;i<length;i++)
  18. ave[i]=0;
  19. for(Textval:value)
  20. {
  21. outVal+=val.toString()+"";
  22. String[]tmp=val.toString().replace("(","").replace(")","").split(",");
  23. for(inti=0;i<tmp.length;i++)
  24. ave[i]+=Float.parseFloat(tmp[i]);
  25. count++;
  26. }
  27. for(inti=0;i<length;i++)
  28. {
  29. ave[i]=ave[i]/count;
  30. if(i==0)
  31. center+="("+ave[i]+",";
  32. else{
  33. if(i==length-1)
  34. center+=ave[i]+")";
  35. else{
  36. center+=ave[i]+",";
  37. }
  38. }
  39. }
  40. System.out.println(center);
  41. context.write(key,newText(outVal+center));
  42. }
  44. }

NewCenter.java

[java] view plain copy
  1. importjava.io.ByteArrayInputStream;
  2. importjava.io.ByteArrayOutputStream;
  3. importjava.io.IOException;
  4. importjava.io.OutputStream;
  5. importjava.net.URI;
  7. importorg.apache.hadoop.conf.Configuration;
  8. importorg.apache.hadoop.fs.FSDataInputStream;
  9. importorg.apache.hadoop.fs.FileSystem;
  10. importorg.apache.hadoop.fs.Path;
  11. importorg.apache.hadoop.io.IOUtils;
  14. publicclassNewCenter{
  16. intk=3;
  17. floatshold=Integer.MIN_VALUE;
  18. String[]line;
  19. Stringnewcenter=newString("");
  21. publicfloatrun(String[]args)throwsIOException,InterruptedException
  22. {
  23. Configurationconf=newConfiguration();
  24. conf.set("hadoop.job.ugi","hadoop,hadoop");
  25. FileSystemfs=FileSystem.get(URI.create(args[2]+"/part-r-00000"),conf);
  26. FSDataInputStreamin=null;
  27. ByteArrayOutputStreamout=newByteArrayOutputStream();
  28. try{
  30. in=fs.open(newPath(args[2]+"/part-r-00000"));
  31. IOUtils.copyBytes(in,out,50,false);
  32. line=out.toString().split("\n");
  33. }finally{
  34. IOUtils.closeStream(in);
  35. }
  36. System.out.println(out.toString());
  37. for(inti=0;i<k;i++)
  38. {
  39. String[]l=line[i].replace("\t","").split("");
  40. String[]startCenter=l[0].replace("(","").replace(")","").split(",");
  41. String[]finalCenter=l[l.length-1].replace("(","").replace(")","").split(",");
  42. floattmp=0;
  43. for(intj=0;j<startCenter.length;j++)
  44. tmp+=Math.pow(Float.parseFloat(startCenter[j])-Float.parseFloat(finalCenter[j]),2);
  45. newcenter=newcenter+l[l.length-1].replace("\t","")+"";
  46. if(shold<=tmp)
  47. shold=tmp;
  48. }
  49. OutputStreamout2=fs.create(newPath(args[1]+"/center"));
  50. IOUtils.copyBytes(newByteArrayInputStream(newcenter.getBytes()),out2,4096,true);
  51. System.out.println(newcenter);
  52. returnshold;
  53. }
  55. }

输出：

[java] view plain copy
  1. 13/05/2411:20:29INFOmapred.Task:Task:attempt_local_0004_r_000000_0isdone.Andisintheprocessofcommiting
  2. 13/05/2411:20:29INFOmapred.LocalJobRunner:
  3. 13/05/2411:20:29INFOmapred.Task:Taskattempt_local_0004_r_000000_0isallowedtocommitnow
  4. 13/05/2411:20:29INFOoutput.FileOutputCommitter:Savedoutputoftask'attempt_local_0004_r_000000_0'tohdfs://192.168.56.171:9000/ouput
  5. 13/05/2411:20:30INFOmapred.JobClient:map100%reduce0%
  6. 13/05/2411:20:32INFOmapred.LocalJobRunner:reduce>reduce
  7. 13/05/2411:20:32INFOmapred.Task:Task'attempt_local_0004_r_000000_0'done.
  8. 13/05/2411:20:33INFOmapred.JobClient:map100%reduce100%
  9. 13/05/2411:20:33INFOmapred.JobClient:Jobcomplete:job_local_0004
  10. 13/05/2411:20:33INFOmapred.JobClient:Counters:22
  11. 13/05/2411:20:33INFOmapred.JobClient:FileOutputFormatCounters
  12. 13/05/2411:20:33INFOmapred.JobClient:BytesWritten=230
  13. 13/05/2411:20:33INFOmapred.JobClient:FileSystemCounters
  14. 13/05/2411:20:33INFOmapred.JobClient:FILE_BYTES_READ=3843
  15. 13/05/2411:20:33INFOmapred.JobClient:HDFS_BYTES_READ=2896
  16. 13/05/2411:20:33INFOmapred.JobClient:FILE_BYTES_WRITTEN=326968
  17. 13/05/2411:20:33INFOmapred.JobClient:HDFS_BYTES_WRITTEN=1916
  18. 13/05/2411:20:33INFOmapred.JobClient:FileInputFormatCounters
  19. 13/05/2411:20:33INFOmapred.JobClient:BytesRead=121
  20. 13/05/2411:20:33INFOmapred.JobClient:Map-ReduceFramework
  21. 13/05/2411:20:33INFOmapred.JobClient:Mapoutputmaterializedbytes=469
  22. 13/05/2411:20:33INFOmapred.JobClient:Mapinputrecords=1
  23. 13/05/2411:20:33INFOmapred.JobClient:Reduceshufflebytes=0
  24. 13/05/2411:20:33INFOmapred.JobClient:SpilledRecords=30
  25. 13/05/2411:20:33INFOmapred.JobClient:Mapoutputbytes=433
  26. 13/05/2411:20:33INFOmapred.JobClient:Totalcommittedheapusage(bytes)=352845824
  27. 13/05/2411:20:33INFOmapred.JobClient:CPUtimespent(ms)=0
  28. 13/05/2411:20:33INFOmapred.JobClient:SPLIT_RAW_BYTES=107
  29. 13/05/2411:20:33INFOmapred.JobClient:Combineinputrecords=0
  30. 13/05/2411:20:33INFOmapred.JobClient:Reduceinputrecords=15
  31. 13/05/2411:20:33INFOmapred.JobClient:Reduceinputgroups=3
  32. 13/05/2411:20:33INFOmapred.JobClient:Combineoutputrecords=0
  33. 13/05/2411:20:33INFOmapred.JobClient:Physicalmemory(bytes)snapshot=0
  34. 13/05/2411:20:33INFOmapred.JobClient:Reduceoutputrecords=3
  35. 13/05/2411:20:33INFOmapred.JobClient:Virtualmemory(bytes)snapshot=0
  36. 13/05/2411:20:33INFOmapred.JobClient:Mapoutputrecords=15
  37. 13/05/2411:20:33INFOmapred.JobClient:Runningjob:job_local_0004
  38. 13/05/2411:20:33INFOmapred.JobClient:Jobcomplete:job_local_0004
  39. 13/05/2411:20:33INFOmapred.JobClient:Counters:22
  40. 13/05/2411:20:33INFOmapred.JobClient:FileOutputFormatCounters
  41. 13/05/2411:20:33INFOmapred.JobClient:BytesWritten=230
  42. 13/05/2411:20:33INFOmapred.JobClient:FileSystemCounters
  43. 13/05/2411:20:33INFOmapred.JobClient:FILE_BYTES_READ=3843
  44. 13/05/2411:20:33INFOmapred.JobClient:HDFS_BYTES_READ=2896
  45. 13/05/2411:20:33INFOmapred.JobClient:FILE_BYTES_WRITTEN=326968
  46. 13/05/2411:20:33INFOmapred.JobClient:HDFS_BYTES_WRITTEN=1916
  47. 13/05/2411:20:33INFOmapred.JobClient:FileInputFormatCounters
  48. 13/05/2411:20:33INFOmapred.JobClient:BytesRead=121
  49. 13/05/2411:20:33INFOmapred.JobClient:Map-ReduceFramework
  50. 13/05/2411:20:33INFOmapred.JobClient:Mapoutputmaterializedbytes=469
  51. 13/05/2411:20:33INFOmapred.JobClient:Mapinputrecords=1
  52. 13/05/2411:20:33INFOmapred.JobClient:Reduceshufflebytes=0
  53. 13/05/2411:20:33INFOmapred.JobClient:SpilledRecords=30
  54. 13/05/2411:20:33INFOmapred.JobClient:Mapoutputbytes=433
  55. 13/05/2411:20:33INFOmapred.JobClient:Totalcommittedheapusage(bytes)=352845824
  56. 13/05/2411:20:33INFOmapred.JobClient:CPUtimespent(ms)=0
  57. 13/05/2411:20:33INFOmapred.JobClient:SPLIT_RAW_BYTES=107
  58. 13/05/2411:20:33INFOmapred.JobClient:Combineinputrecords=0
  59. 13/05/2411:20:33INFOmapred.JobClient:Reduceinputrecords=15
  60. 13/05/2411:20:33INFOmapred.JobClient:Reduceinputgroups=3
  61. 13/05/2411:20:33INFOmapred.JobClient:Combineoutputrecords=0
  62. 13/05/2411:20:33INFOmapred.JobClient:Physicalmemory(bytes)snapshot=0
  63. 13/05/2411:20:33INFOmapred.JobClient:Reduceoutputrecords=3
  64. 13/05/2411:20:33INFOmapred.JobClient:Virtualmemory(bytes)snapshot=0
  65. 13/05/2411:20:33INFOmapred.JobClient:Mapoutputrecords=15
  66. (19.0,39.0)(19,39)(19.0,39.0)
  67. (20.571428,31.571428)(20,30)(20,32)(24,34)(20,32)(20,30)(20,31)(20,32)(20.571428,31.571428)
  68. (51.285713,66.42857)(50,65)(50,77)(50,64)(59,67)(50,67)(50,61)(50,64)(51.285713,66.42857)
  70. (19.0,39.0)(20.571428,31.571428)(51.285713,66.42857)
  71. Iterator:4

小飞侠-2
关注
hadoop-kmeans:使用 Hadoop 实现 K-Means 算法
07-14
Hadoop K-Means 使用 Hadoop 的 K-Means 算法实现。 该算法不执行任何初始质心的计算，必须给出这些。 用法 家庭输入集群数量输出增量最大 hadoop jar HadoopKMeans.jar ...
hadoop下的Kmeans算法实现一
小飞侠的博客
12-23 572
前一段时间，从配置hadoop到运行kmeans的mapreduce程序，着实让我纠结了几天，昨天终于把前面遇到的配置问题和程序运行问题搞定。Kmeans算法看起来很简单，但对于第一次接触mapreduce程序来说，还是有些挑战，还好基本都搞明白了。Kmeans算法是从网上下的在此分析一下过程。 Kmeans.java [java] view plaincopy
Python实现并测试K-means聚类算法
毕业作品网站
09-11 1717
实现并测试K-means聚类算法 目录 机器学习与数据挖掘第二次实验报告 1 实现并测试K-means聚类算法 1 一 、K-Means 简述 1 四 、实验结果分析 5 4.1 K-Means 迭代结果 5 4.2 比较不同初始化方法和距离选择的效果 12 4.3 不同聚类个数下目标函数 J 的曲线 14 五 、结论 16 一 、K-Means 简述 聚类（Clustering）是按照某个特定的标准将一个数据集划分成若干的簇，使得同一个簇内的样本相似 性尽可能大，不同簇之间的样本差异性尽可能大。
DFS分布式文件系统--部署篇
weixin_34150503的博客
11-17 529
DFS分布式文件系统--部署篇续DFS分布式文件系统--基础篇三、DFS部署实例在VMwareWorkstation 12.0虚拟环境下，建立五台Windows Server 2008 R2虚拟机。NameSrv01:192.168.0.180/24，DC，DNS；NameSrv02:192.168.0.181/24，辅助DC，DNS；域名FromHeart.Com.这两台DC为命名空间服务器。 ...
并行作业6：hadoop实现K-Means算法（鸢尾花数据集）
八月对半
12-03 4477
K-Means算法 系统采用vm下ubuntu16.04 一、 实验内容与要求 在Eclipse环境下编写实现K-means算法。 二、 实验数据与目标 1、实验数据 来源于http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data。实验数据文件名为iris.txt(鸢尾花数据集)，数据大小为4.6KB。数据...
基于Hadoop的Kmeans算法实现
Angelababy_huan的博客
11-05 5648
Kmeans算法是很典型的基于距离的聚类算法，采用距离作为相似性的评价指标。即认为两个对象的距离越近，其相似度就越大。该算法认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。     算法流程如下：     1. 从N条数据中随机选取K条数据作为初始聚类中心；     2. 对剩余的每条数据测量其到每个聚类中心的距离，并将其归到最近的中心的类；     3. 重新计算已
Hadoop之MapReduce编程实例完整源码
08-01
一个自己写的Hadoop MapReduce实例源码，网上看到不少网友在学习MapReduce编程，但是除了wordcount范例外实例比较少，故上传自己的一个。包含完整实例源码，编译配置文件，测试数据，可执行jar文件，执行脚本及操作...
Hadoop编程实例源码
最新发布
04-21
这个"**Hadoop编程实例源码**"的资源提供了深入了解和学习Hadoop编程的宝贵机会。通过研究这些源码，开发者可以深入理解Hadoop的工作原理，以及如何在实际项目中应用Hadoop技术。 **Hadoop基础** Hadoop由Apache...
Hadoop-KMeans:HadoopMapReduce范式中的KMeans集群
05-12
步骤2：使用python脚本规范化每个文档的tfidf，将创建一个文件GutenbergBookNorm.csv-python euclidian_normalizer.py 第三步：将标准化文件GutenbergBook.csv复制到hdfs-hadoop fs -mkdir inputKmeans-hadoop fs -...
Hadoop mapreduce 实现KMeans
01-28
在大数据处理领域，Hadoop MapReduce 是一种广泛使用的分布式计算框架，它允许高效地处理海量数据。...如果你正在处理大量数据并需要寻找数据的内在结构，Hadoop MapReduce 结合 KMeans 算法是一个值得考虑的解决方案。
hadoop k-means算法实现（可直接命令行运行）
05-10
hadoop k-means算法实现java工程的打包类，可直接在terminal中运行，运行命令为： $HADOOP_HOME/bin/hadoop jar ClusterDemo.jar main.Cluster 然后直接确定就可以看到提示的运行参数或者参考下面： +" \n" +"\t:输入文件路径\n" +"\t:输出文件路径\n" +"\t:初始中心路径\n" +"\t:临时输出文件路径\n" +"\t:循环最大次数\n" +"\t:聚类中心变化阈值\n" +"\t:聚类中心数目\n" +"\t:原始数据属性数目\n" +"\t:reduce数目");
hadoop并行化和非并行化的kmeans算法.zip
05-27
包含两种平台上运行的kmeans算法：一种是在Hadoop系统上的并行化kmeans算法，支持读文件，执行聚类算法，输出质心文件，将每个数据的聚类信息输出到控制台上；另一种是串行的聚类算法，支持读文件数据，执行kmeans算法，将每个数据的聚类信息输出到文件中。代码注释清晰。
hibench大数据性能测试工具
04-15
大数据性能测试工具，压缩包里包含安装工具及测试说明
hadoop下用于测试的KMeans程序
05-12
这是一份完整的KMeans的代码，已经在OpenSuSE12.3 x64上编译并运行通过，具体的编译和使用方法见：http://blog.csdn.net/zhang2010kang/article/details/45646239
Hadoop之K-Means聚类算法
LJBlog2014的专栏
11-27 8745
Begin 读取inputPath，从中选取前k个点作为初始质心，将质心数据写入centerPath； While 聚类终止条件不满足 在Mapper阶段，读取inputPath，对于key所对应的点，遍历所有的质心，选择最近的质心，将该质心的编号作为键， 该点的编号作为值传递给Reducer； 在Reducer阶段，将Mapper阶段传递过来的
K-Means算法的Hadoop实现
想作会飞的鱼的博客
07-09 8003
一、MapReduce实现K-Means算法的基本流程 1、Map每读取一条数据就与所有选定的中心做对比，求出该条记录对应的中心，然后以中心的ID为Key，该条数据为value将数据输出。 2，利用reduce的归并功能将相同的Key归并到一起（因为map把中心的ID作为key，所以在reduce端时数据已经按照各自的中心分好了组，这是MapReduce框架自动完成的），集中与该Key对应的数
hadoop学习--K-Means算法实现
maple1149的博客
04-26 1931
本例子介绍使用hadoop做聚类分析。
Hadoop编程学习6--Kmeans算法实现
xiedelong的博客
06-24 1224
  机器学习和数据挖掘算法是大数据分析处理领域的重要内容，随着数据规模的不断扩大，设计面向大数据处理的并行化机器学习和数据挖掘算法越来越有必要。 通过对并行化数据挖掘算法的实现，可以掌握并行化处理问题的分析方法和编程思想方法。   聚类算法是一种无监督学习算法，主要用于将相似的样本自动归到一个类别中。在聚类算法中根据样本之间的相似性，将样本划分到不同的类别中。K-Means算法是最常用的一种聚类...
Hadoop 0.20.0 源码深度解析：Configuration, JobTracker与TaskTracker
"对Hadoop0.20.0的源码流程进行了深入分析，涵盖了Configuration、JobClient、JobConf、JobTracker、JobInProgress、TaskInProgress、TaskTracker、Task（MapTask、ReduceTask）、JvmManager和Child等核心组件的介绍...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值