hadoop
文章平均质量分 78
NSDSB_123
这个作者很懒,什么都没留下…
展开
-
hadoop中partition
1.解析Partition Map的结果,会通过partition分发到Reducer上,Reducer做完Reduce操作后,通过OutputFormat,进行输出,下面我们就来分析参与这个过程的类。 Mapper的结果,可能送到Combiner做合并,Combiner在系统中并没有自己的基类,而是用Reducer作为Combiner的基类,他们对外的功能是一样的,只是使用的位置转载 2015-11-24 10:21:30 · 499 阅读 · 0 评论 -
hadoop 运行mahout 问题小结(一)
完成hadoop上的搭建,开始运行几个小的测试,毕竟第一次,遇到了一些小问题。 首先,是参考资料中的 验证安装是否成功的步骤。 将下载数据 synthetic_control.data 上传到HDFS中,命令如下 hadoop fs -mkdir testdata(注意,此命令的文件夹路径必须是如上,不可是/testdata 等其他形式) hadoop fs -put转载 2015-12-31 17:48:26 · 1127 阅读 · 0 评论 -
hadoop 运行mahout 问题小结(二)
hadoop 成功运行mahout 的example之后,尝试运行mahout的kmeans算法。 过程中出现问题。 首先,依旧是classNotFound错误。 此错误,可以使用前面(一)中方法解决,将mahout的lib文件夹下的 .jar 文件 复制到hadoop的common 文件夹中。 另外想到一种应该可以的方法,就是将mahout的lib等相关路径放加入到PATH变量原创 2016-01-04 20:13:53 · 498 阅读 · 0 评论