软件版本:hadoop2.2 ,eclipse4.5 ,jdk1.7
问题描述:在进行Java程序调用Hadoop集群时,使用下面的代码时,运行会给出如题所示提示
job.setJarByClass(SampleJob.class);可是明明是设置了JarByClass为什么提示没有设置呢?
预备知识:
1. java调用Hadoop的时候,直接配置Configuration即可直接调用hadoop,运行job,如下:
conf.setBoolean("mapreduce.app-submission.cross-platform", true);// 配置使用跨平台提交任务
conf.set("fs.defaultFS", "hdfs://"+namenode+":8020");// 指定namenode
conf.set("mapreduce.framework.name", "yarn"); // 指定使用yarn框架
conf.set("yarn.resourcemanager.address", resourcenode+":8032"); // 指定resourcemanager
conf.set("yarn.resourcemanager.scheduler.address", schedulernode+":8030");// 指定资源分配器
conf.set("mapreduce.jobhistory.address", jobhistorynode+":10

在使用Java程序调用Hadoop 2.2时,遇到'No job jar file set. User classes may not be found.'错误。通过配置Configuration虽能运行,但仍有提示。解决方法是通过Job的setJarByClass或setJar方法指定jar文件。setJarByClass会将类所在的jar复制到临时目录,而setJar直接设置jar路径。对比两种方式的效果,有助于理解其工作原理。
最低0.47元/天 解锁文章
572

被折叠的 条评论
为什么被折叠?



