hadoop ClassNotFoundException解决办法

最新推荐文章于 2022-04-26 10:44:04 发布
最新推荐文章于 2022-04-26 10:44:04 发布
阅读量377 收藏
点赞数
文章标签： 大数据 java python
原文链接：https://my.oschina.net/winHerson/blog/124918
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png


我在测试hadoop时候，自己写了一个类，并且这个类中引用了2个类，运行的时候找不到引用的类。 

StudentinfoRecord这个类确实有，并且和DBInput在同一目录下

hduser@tianbaoxing-virtual-machine:/app/hadoop/tmp/java$ hadoop DBInput

ava$ hadoop DBInputWarning: $HADOOP_HOME is deprecated.

13/04/24 10:41:59 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
13/04/24 10:41:59 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
13/04/24 10:42:00 INFO mapred.JobClient: Running job: job_201304241011_0004
13/04/24 10:42:01 INFO mapred.JobClient:  map 0% reduce 0%
13/04/24 10:42:12 INFO mapred.JobClient: Task Id : attempt_201304241011_0004_m_000000_0, Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: StudentinfoRecord
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:849)
    at org.apache.hadoop.mapred.lib.db.DBConfiguration.getInputClass(DBConfiguration.java:192)
    at org.apache.hadoop.mapred.lib.db.DBInputFormat.getRecordReader(DBInputFormat.java:284)
    at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.<init>(MapTask.java:197)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:418)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.lang.ClassNotFoundException: StudentinfoRecord
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:247)
    at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:802)
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:847)
    ... 10 more

13/04/24 10:42:12 INFO mapred.JobClient: Task Id : attempt_201304241011_0004_m_000001_0, Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: StudentinfoRecord
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:849)
    at org.apache.hadoop.mapred.lib.db.DBConfiguration.getInputClass(DBConfiguration.java:192)
    at org.apache.hadoop.mapred.lib.db.DBInputFormat.getRecordReader(DBInputFormat.java:284)
    at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.<init>(MapTask.java:197)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:418)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.lang.ClassNotFoundException: StudentinfoRecord
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:247)
    at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:802)
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:847)
    ... 10 more

13/04/24 10:42:21 INFO mapred.JobClient: Task Id : attempt_201304241011_0004_m_000000_1, Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: StudentinfoRecord
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:849)
    at org.apache.hadoop.mapred.lib.db.DBConfiguration.getInputClass(DBConfiguration.java:192)
    at org.apache.hadoop.mapred.lib.db.DBInputFormat.getRecordReader(DBInputFormat.java:284)
    at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.<init>(MapTask.java:197)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:418)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.lang.ClassNotFoundException: StudentinfoRecord
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:247)
    at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:802)
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:847)
    ... 10 more

13/04/24 10:42:21 INFO mapred.JobClient: Task Id : attempt_201304241011_0004_m_000001_1, Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: StudentinfoRecord
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:849)
    at org.apache.hadoop.mapred.lib.db.DBConfiguration.getInputClass(DBConfiguration.java:192)
    at org.apache.hadoop.mapred.lib.db.DBInputFormat.getRecordReader(DBInputFormat.java:284)
    at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.<init>(MapTask.java:197)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:418)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.lang.ClassNotFoundException: StudentinfoRecord
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:247)
    at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:802)
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:847)
    ... 10 more

13/04/24 10:42:28 INFO mapred.JobClient: Task Id : attempt_201304241011_0004_m_000000_2, Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: StudentinfoRecord
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:849)
    at org.apache.hadoop.mapred.lib.db.DBConfiguration.getInputClass(DBConfiguration.java:192)
    at org.apache.hadoop.mapred.lib.db.DBInputFormat.getRecordReader(DBInputFormat.java:284)
    at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.<init>(MapTask.java:197)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:418)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.lang.ClassNotFoundException: StudentinfoRecord
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:247)
    at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:802)
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:847)
    ... 10 more

13/04/24 10:42:29 INFO mapred.JobClient: Task Id : attempt_201304241011_0004_m_000001_2, Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: StudentinfoRecord
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:849)
    at org.apache.hadoop.mapred.lib.db.DBConfiguration.getInputClass(DBConfiguration.java:192)
    at org.apache.hadoop.mapred.lib.db.DBInputFormat.getRecordReader(DBInputFormat.java:284)
    at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.<init>(MapTask.java:197)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:418)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.lang.ClassNotFoundException: StudentinfoRecord
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:247)
    at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:802)
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:847)
    ... 10 more

13/04/24 10:42:40 INFO mapred.JobClient: Job complete: job_201304241011_0004
13/04/24 10:42:40 INFO mapred.JobClient: Counters: 6
13/04/24 10:42:40 INFO mapred.JobClient:   Job Counters
13/04/24 10:42:40 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=70989
13/04/24 10:42:40 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
13/04/24 10:42:40 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
13/04/24 10:42:40 INFO mapred.JobClient:     Launched map tasks=8
13/04/24 10:42:40 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=0
13/04/24 10:42:40 INFO mapred.JobClient:     Failed map tasks=1
13/04/24 10:42:40 INFO mapred.JobClient: Job Failed: # of failed Map Tasks exceeded allowed limit. FailedCount: 1. LastFailedTask: task_201304241011_0004_m_000000
Exception in thread "main" java.io.IOException: Job failed!
    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1327)
    at DBInput.main(DBInput.java:37)
hduser@tianbaoxing-virtual-machine:/app/hadoop/tmp/java$

这个问题找到了，我使用的是1.1.2，需要打包成jar文件运行。然后就没有报错。

   程序不是以jar的形式运行的,所以不会上传jar到HDFS中，以致节点外的所有节点在执行task任务时上不能找到map和reduce类，所以在运行task时会出现错误。

同时还要注意命令： hadoop jar DBInput.jar ，中间不能省去jar

还要注意： DBInput.jar必须放在当前的文件下

   即时是伪分布式下(一个节点既是主节点又是从节点)下直接在eclipse中也不能运行成功，也需要打包成jar









转载于:https://my.oschina.net/winHerson/blog/124918

weixin_34268579
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration
一杯咖啡半杯糖的博客
02-19 682
【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration或者ClassNotFoundException: org.apache.hive.common.util.HiveVersionInfo 都可解决
java.lang.ClassNotFoundException: org.apache.hadoop.crypto.key.KeyProvider
weixin_41608066的博客
05-24 2486
在hadoop2.2.0版本上搭建hive2.2.0环境，在用下面命令初始化时报错 schematool -dbType derby -initSchema Exception in thread "main" java.lang.RuntimeException: java.lang.NoClassDefFoundError: org/apache/hadoop/crypto/key/KeyProvider at org.apache.hadoop.hive.shims.ShimLoader.getHa
hadoop错误之ClassNotFoundException
心中永远的正能量
03-16 1万+
开发环境：  hadoop 1.2.1 eclipse Version: Juno Service Release 2 JDK 1.7 ubuntu 12.04LTS 代码： 下面的代码本质上就是一个wordCount程序 package org.conan.myhadoop.mr; import java.io.IOException; import java.u
hadoop错误之ClassNotFoundException(下)
weixin_30955617的博客
12-28 149
　hadoop开发环境：window上eclipse+虚拟机的ubuntu13.04+hadoop-1.1.2+JDK1.7 在win7下运行hadoop-1.1.2 worldcount代码的时候出现下面的错误，折腾了差不多一天的时间，才明白导致http://www.cnblogs.com/kaizhangzhang/p/3494753.html这个错误的原因，一下是错误的完整信息： ecl...
java.lang.ClassNotFoundException org.apache.hadoop.mapred.JobConf
m0_67402341的博客
04-19 3728
场景：spark local模式调试代码时运行时 hadoop 错误 原因： 引用的 hadoop-mapreduce-client-core hadoop-common hadoop-mapreduce-client-common hadoop-mapreduce-client-jobclient 版本不一致 解决方案： 换版本 或者使用CDH
java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConf
刘涛的博客
06-23 3030
场景：spark local模式调试代码时运行时 hadoop 错误 原因： 引用的 hadoop-mapreduce-client-core hadoop-common hadoop-mapreduce-client-common hadoop-mapreduce-client-jobclient 版本不一致 解决方案： 换版本 或者使用CDH
The application contains no execute() calls.
Jhon_yh的博客
12-03 2241
The application contains no execute() calls. 没有调用 execute() 方法。 2021-12-03 09:20:31 [flink-akka.actor.default-dispatcher-4] WARN ApplicationDispatcherBootstrap:169 - Application failed unexpectedly: java.util.concurrent.CompletionException: org.apache.fl
hadoop 启动java.lang.ClassNotFoundException:org.apache.hadoop.util.PlatformName
令狐二中
01-19 2271
hadoop 启动java.lang.ClassNotFoundException:org.apache.hadoop.util.PlatformName org.apache.hadoop.util.PlatformName属于hadoop auth包里面的一个类。 默认引入hadoop client的时候不会带入hadoop auth这个包。 引入hadoop client的时候需要带入hadoop auth包。 还有一种情况是引入的低版本的hadoop auth包。 改为引用相同包即可。 <de
Hadoop问题解决之：java.lang.ClassNotFoundException:com.demo.Demo$DemoMapper
snowlive's blog
04-17 3685
Hadoop问题解决之：java.lang.ClassNotFoundExceptionHadoop问题解决之javalangClassNotFoundException 前言 解决方法 1打包运行 2打包之后在Eclipse上运行 总结1.前言在使用Eclipse进行hadoop项目开发时，通过Eclipse运行编写好的hadoop项目，在运行项目时，可能会出现如下的异常信息：17/04/17 0
Maven连接Hive：java.lang.ClassNotFoundException: org.apache.hadoop.io.Writable
11-09 1484
将原来的项目挪到Maven后，启动正常，但跟Hive交互时报错：严重: Servlet.service() for servlet [appServlet] in context with path [/paper] threw exception [Handler processing failed; nested exception is java.lang.NoClassDefFoundErr
hadoop 运行时 ClassNotFoundException
05-21 1529
1. 问题描述 当用户编写完Hadoop程序时，准备运行时，经常会抛出以下异常： [15:10:41,949][ INFO][main][org.apache.hadoop.mapred.JobClient:1330] – Task Id : attempt_201202281244_0003_m_000000_1, Status : FAILED Error: java.l
java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/JobContext
liwenliang2的博客
12-26 5754
开始报错 JobContext在Hive-exec里面有，所以觉得很奇怪说class not found 。java.lang.NoClassDefFoundError两种原因。 1.这个jar包确实没有。导入。 2.依赖包有冲突。导致无法加载。这个冲突的包，有可能是这个找不到类所属的jar包。也有可能是函数调用时，其他类的所属jar包冲突了。 本例子中JobContext类有，只有一...
hadoop编程：解决eclipse能运行，打包放到集群上ClassNotFoundException:经验总结
soledede
06-15 500
本文之所以称之为经验，是因为我们经常碰到莫名其妙的问题，从原理上是说不通的。但是我们却确确实实碰到了。在刚开始运行的时候，碰到了下文所表示的错误。本想作为经验总结留下来。为了让错误重现，所以又重新操作了一遍。这时候已经换环境，但是环境与原先没做任何的更改，也就是说他们的配置完全是一样的，神奇的是mapreduce执行的完全正确。对于如果碰到下面问题的同学，可以参考。对于原理性的内容，以后在更新。...
安装sqoop-1.99.7报caused by java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration
热门推荐
风雨诗轩的博客
03-03 1万+
最近在学习sqoop，我以前用过sqoop-1.4.4版本，最近想学习最新版sqoop-1.99.7，在网上找了安装教程，安装完后用 #sqoop2-tool  verify命令进行验证，结果报caused by java.lang.ClassNotFoundException:org.apache.hadoop.conf.Configuration 这个错误，明显是sqoop没有找到
hadoop运行报错： java.lang.ClassNotFoundException解决方法
jessezhang1981的专栏
12-11 2584
作者：JesseZhang （CNZQS|JesseZhang） 博客地址：http://www.cnzqs.com 在创建自定义的Mapper时候，编译正确，但上传到集群执行时出现错误： 11/12/11 22:53:16 INFO mapred.JobClient: Task Id : attempt_201111301626_0015_m_000000_0, Sta
Flink：问题及解决:ClassNotFoundException: org.apache.hadoop.security.UserGroupInformation
Joseph25的博客
04-26 3096
此问题是因为flink 执行环境下缺少相关jar: 可以在lib 下补充以下jar 包 aws-java-sdk-s3-1.11.1030.jar flink-shaded-hadoop-2-uber-3.1.1.3.0.1.0-187-10.0.jar hadoop-aws-3.1.0.jar(3.1.0是你自己hadoop版本号) ...
flink-问题及解决:ClassNotFoundException: org.apache.hadoop.security.UserGroupInformation
啊哈程序
06-28 1789
此问题是因为flink 执行环境下缺少相关jar: 可以在lib 下补充以下jar 包 aws-java-sdk-s3-1.11.1030.jar flink-shaded-hadoop-2-uber-3.1.1.3.0.1.0-187-10.0.jar hadoop-aws-3.1.0.jar
Error: java: 无法访问org.apache.hadoop.mapred.JobConf 找不到org.apache.hadoop.mapred.JobConf的类文件...
weixin_30755393的博客
03-19 6136
Error: java: 无法访问org.apache.hadoop.mapred.JobConf 找不到org.apache.hadoop.mapred.JobConf的类文件 出现此异常，是缺少相关的依赖包，检查以下四个依赖包是否添加： hadoop-mapreduce-client-core-2.7.2.jar hadoop-common-2.7.2.jar hadoop-map...
Exception in thread "main" java.lang.ClassNotFoundException: org.apache.hadoop上述问题如何解决
最新发布
04-18
根据提供的引用内容，"Exception in thread "main" java.lang.ClassNotFoundException: org.apache.hadoop" 这个问题的解决方法是缺少了org.apache.hadoop类的依赖。要解决这个问题，你需要确保你的项目中包含了org....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值