- 博客(4)
- 资源 (5)
- 收藏
- 关注
原创 eclipse下提交job时报错mapred.JobClient: No job jar file set. User classes may not be found.
windows下,连接远程集群,直接在eclipse里运行mapreduce作业时,错误信息:11/10/14 13:52:07 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.11/1
2013-12-18 16:04:26 12538 3
转载 Hadoop源码浅析——Job提交相关
Configuration类是用来访问hadoop的配置参数的。Configuration类首先会通过静态代码段加载hadoop的配置文件core-default.xml和和core-site.xml,相关代码如下:[java] view plaincopy"font-size:16px;">static{ //print deprecation war
2013-12-18 15:56:57 847
原创 MapReduce中第三方jar的存放
如果在MapReduce中用到了第三方的Jar包,怎么处理呢?据说有3种方法:要么-libjars,要么加到HADOOP_HOME/lib下(所有子节点),要么打包进目标jar。最简单的做法是:在classpath下建立 lib目录,将jar考到lib目录下。据说这是hadoop 的作者不知在什么会议上答复的。这里恍然大悟,为什么hadoop hbase下都有lib目录存放jar包,他
2013-12-10 19:31:30 1247
原创 MapReduce中设置全局变量
实际项目中遇到这样一个场景,需要运行一个MapReduce统计一些数据中的最大最小平均值等特性,将结果存入到HBase中。存结果的同时还要记录这次分析任务的编号,即所有的Reduce产生的结果中都要包含这个任务编号这个字段。当然我们可以把这个任务编号放到输入文件中的每一行中,作为输入数据的一部分,不过这样做显然太不专业,无端的增加了要处理的数据量,加重网络负担。经过网上搜索,发现可以用Config
2013-12-10 19:24:59 7613
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人