hadoop
firefaith
这个作者很懒,什么都没留下…
展开
-
Warn : Hadoop No job jar file set.
集群部署了mapreduce1,自己写了一个job,打包成jar,然后运行,怎么也不同过, 一直报错:Nojob jar file set 网上找了很多,都不是:结果是jar放在了/root/目录下,没权限读jar,放到/opt/下就解决了 网上一般都出错在job代码中没加: job.setJarByClass(YouJob.class);原创 2015-04-03 20:38:37 · 1074 阅读 · 0 评论 -
Hadoop MR1 安装配置
具体参考 http://hadoop.apache.org/docs/r1.2.1/cluster_setup.html MRv1 的配置在Yarn推出之后,本身并没有改变。所以参考老版本的hadoop,还是必要的。 目的 本文涉及:安装、配置、管理 Hadoop 集群。 Prerequisites Make sure all required soft翻译 2015-04-01 13:12:56 · 863 阅读 · 0 评论 -
Hadoop Combiner 使用问题
本想通过combiner减少输入到reduce的数据,但是使用过程中总发生问题。 后来看权威指南,才知道,combiner是会反复调用的,即可能两个combiner一次后,将结果再传给一个combiner; 所以写combiner一定要输入和输出格式相同,并不是同reducer相同就可以,reducer的输入和输出格式是未必相同的。 mapper1 -> combiner1 map原创 2015-04-04 06:55:35 · 648 阅读 · 0 评论