No job jar file set. User classes may not be found. See Job or Job#setJar(String)

最新推荐文章于 2022-11-30 16:02:43 发布

fansy1990

最新推荐文章于 2022-11-30 16:02:43 发布

阅读量1.2w

点赞数

分类专栏： hadoop配置 hadoop java

本文链接：https://blog.csdn.net/fansy1990/article/details/50912132

版权

在使用Java程序调用Hadoop 2.2时，遇到'No job jar file set. User classes may not be found.'错误。通过配置Configuration虽能运行，但仍有提示。解决方法是通过Job的setJarByClass或setJar方法指定jar文件。setJarByClass会将类所在的jar复制到临时目录，而setJar直接设置jar路径。对比两种方式的效果，有助于理解其工作原理。

摘要由CSDN通过智能技术生成

软件版本：hadoop2.2 ，eclipse4.5 ，jdk1.7

问题描述：在进行Java程序调用Hadoop集群时，使用下面的代码时，运行会给出如题所示提示

job.setJarByClass(SampleJob.class);

可是明明是设置了JarByClass为什么提示没有设置呢？

预备知识：

1. java调用Hadoop的时候，直接配置Configuration即可直接调用hadoop，运行job，如下：

 conf.setBoolean("mapreduce.app-submission.cross-platform", true);// 配置使用跨平台提交任务
			conf.set("fs.defaultFS", "hdfs://"+namenode+":8020");// 指定namenode
			conf.set("mapreduce.framework.name", "yarn"); // 指定使用yarn框架
			conf.set("yarn.resourcemanager.address", resourcenode+":8032"); // 指定resourcemanager
			conf.set("yarn.resourcemanager.scheduler.address", schedulernode+":8030");// 指定资源分配器
			conf.set("mapreduce.jobhistory.address", jobhistorynode+":10