![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 51
woshihanxibei
这个作者很懒,什么都没留下…
展开
-
WordCount程序 编译
弄了几天Hadoop遇到了许多问题,记录在自己的EverNote上,但是学习的过程也感谢很多人无私的分享,所以也想把自己的过程记录下来,希望偶尔也可以帮助到别人。 第一步是参照这篇文章 http://wenku.baidu.com/view/33c6b8a7f61fb7360b4c6551.html 还蛮详细,一直使用第一种编译方法,即是Hadoop-0.20.2-examples.j原创 2015-02-06 15:57:36 · 823 阅读 · 0 评论 -
WordCount Reduce数目更改
设置reduce的个数为2的方法有两个 1. 在主程序中添加 job.setNumReduceTasks(2); 2. 在运行的时候 bin/hadoop jar /usr/local/hadoop/hadoop-0.20.2-examples.jar wordcount -Dmapred.reduce.tasks=2 input output原创 2015-02-06 16:39:17 · 428 阅读 · 0 评论 -
关于Patition模块读取外部数据
想写一个Partitioner模块,key/value的分配方案按照我指定的partition table. 我已经将它上传到hdfs的input2上 然后发现自己完全无法读取,然后根据散仙意见,我重新修改了读取方法,结果终于正确!原创 2015-02-11 13:31:10 · 498 阅读 · 0 评论