mapreduce
qq_23617681
这个作者很懒,什么都没留下…
展开
-
mapreduce程序开发及伪分布式调试小结
在eclipse上编写好mapreduce程序后,就可以调试程序。 调试有两种方式,本地、hdfs. 博主只有一台电脑,因此用伪分布式模拟远程hdfs。 问题一:输入的input、output位置 默认情况下,输入的input、output文件位于mapreduce程序根目录下。 若要调试mapreduce程序在远程hdfs下的运行效果,效率问题,就需要设置远程hdfs的地址和端原创 2016-04-27 14:47:19 · 848 阅读 · 0 评论 -
hadoop程序开发实践——简单程序
本篇在hadoop上实践了几个hadoop程序。 分别是:词频统计(wordcount)、数据去重、数据排序、平均成绩、单表关联、多表关联、倒排索引。 对hadoop程序的运行机制,特别是mapreduce的运行过程、接口规范、shuffle有了进一步了解。 对mapper、combine、reducer三个重要函数进行了重写。 对输入输出文件夹input、output文件的删除、更新、上原创 2016-04-28 15:30:06 · 771 阅读 · 0 评论