- 博客(4)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 eclipse下提交job时报错mapred.JobClient: No job jar file set. User classes may not be found.
windows下，连接远程集群，直接在eclipse里运行mapreduce作业时，错误信息：11/10/14 13:52:07 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.11/1
2013-12-18 16:04:26
12538
3
转载 Hadoop源码浅析——Job提交相关
Configuration类是用来访问hadoop的配置参数的。Configuration类首先会通过静态代码段加载hadoop的配置文件core-default.xml和和core-site.xml，相关代码如下：[java] view plaincopy"font-size:16px;">static{ //print deprecation war
2013-12-18 15:56:57
847
原创 MapReduce中第三方jar的存放
如果在MapReduce中用到了第三方的Jar包，怎么处理呢？据说有3种方法：要么-libjars，要么加到HADOOP_HOME/lib下(所有子节点)，要么打包进目标jar。最简单的做法是：在classpath下建立 lib目录，将jar考到lib目录下。据说这是hadoop 的作者不知在什么会议上答复的。这里恍然大悟，为什么hadoop hbase下都有lib目录存放jar包，他
2013-12-10 19:31:30
1247
原创 MapReduce中设置全局变量
实际项目中遇到这样一个场景，需要运行一个MapReduce统计一些数据中的最大最小平均值等特性，将结果存入到HBase中。存结果的同时还要记录这次分析任务的编号，即所有的Reduce产生的结果中都要包含这个任务编号这个字段。当然我们可以把这个任务编号放到输入文件中的每一行中，作为输入数据的一部分，不过这样做显然太不专业，无端的增加了要处理的数据量，加重网络负担。经过网上搜索，发现可以用Config
2013-12-10 19:24:59
7613
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人