hadoop
xzw_123
这个作者很懒,什么都没留下…
展开
-
hadoop的jar命令运行任务方法
这里有时候会犯个小错误。 当用eclipse 打jar包的过程中,其中有一步需要你选择自己的主类,如果没选择自己的主类,那么$ hadoop jar ***.jar ***.***.***.MainClassName inputPath outputPath如果选择了自己的主类,就需要把主类从语句中删除: $ hadoop jar ***.jar inputPath outputPath参考文原创 2014-03-19 15:06:55 · 1962 阅读 · 1 评论 -
关于hadoop的reduce百分比进度说明
昨天跑一个mapreduce,发现reduce跑的非常慢,以为是数据量太大或者原创 2014-04-17 10:03:59 · 4155 阅读 · 0 评论 -
如何从main函数往reduce传递值或参数
由于某些原因,需要在从参数中读取一个常量,并在reduce进行使用。 我参照网上的方法,首先在Main函数set了key和value Configuration conf = new Configuration(); conf.set("cur_time", “20140417”);原创 2014-04-17 11:32:02 · 1235 阅读 · 0 评论