mapreduce java.lang.ClassNotFoundException:

最新推荐文章于 2024-01-11 00:29:48 发布
最新推荐文章于 2024-01-11 00:29:48 发布
阅读量487 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lookqlp/article/details/88336836
版权
好久没写mr了，今天写了个在eclipse上运行很顺畅，但是使用hadoop jar命令方式时一直报错： 

13/03/07 14:44:34 INFO mapred.JobClient: Task Id : attempt_201303031058_0328_m_000007_0, Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: com.test.HBaseToFile$TradeMap
	at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:867)
	at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:199)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:719)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
	at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
	at javax.security.auth.Subject.doAs(Subject.java:396)


后来发现原来是在0.20版本以后main方法中需要加：job.setJarByClass(HBaseToFile.class);才能找到自定义的map或reduce内部类。


坑爹吧!
空中的鱼1987
关注
专栏目录
java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
bird
06-23 1523
java.lang.ClassNotFoundException: com.mysql.jdbc.Driver at org.apache.catalina.loader.WebappClassLoaderBase.loadClass(WebappClassLoaderBase.java:1365) at org.apache.catalina.loader.WebappClassLoaderBase.loadClass(WebappClassLoaderBase.java:1188) at java
2021-08-31Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.crypto.key.KeyProviderToken
weixin_51233110的博客
08-31 943
求大神告知一下这个怎么解决，我用idea写的mapperreduce代码，hadoop版本是3.1.3，跪了 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/crypto/key/KeyProviderTokenIssuer at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClas
运行mapreduce程序时出现异常java.lang.RuntimeException: java.lang.ClassNotFoundException的原因
热门推荐
风声
08-16 3万+
运行mapreduce程序时出现异常java.lang.RuntimeException: java.lang.ClassNotFoundException的原因    hadoop分布式配置完毕后，我将主节点的下的hadoop-0.20.1直接导入eclipse，想直接在eclipse中书写程序并直接编译运行于hadoop集群上。今天才发现，这是不可能成功的。因为我忽略了mapreduce程序在hadoop中的运行机理:mapreduce框架在运行Job时，为了使得各个从节点上能执行task任务(即map
Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class xxxx not found
qq_44920169的博客
05-11 1030
出现“Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class mapreduce.Mapper_one not found” 的原因是因为在打包成为jar包的时候出现错误造成的，即 找不到类,主程序中缺少配置 需要解决的方法就是需要使用 job.setJarByClass(JobMain.class); 来进行配置 然后再重新打包即可 ...
Mapreduce报错：java.lang.ClassNotFoundException: Class Mapper not found
aabb7654321的博客
04-15 1477
mapreduce找不到mapper类 解决方法： 开始自己用的是mapreduce自己打包的一种方法： job.setJarByClass(StandardJob.class); 但这样一直在报错：找不到打包的jar WARN mapred.JobClient: No job jar file set. User classes may not be found...
关于java实现的mapreduce程序打包后通过脚本运行出现classnotfound异常
cs_jiang的专栏
01-13 3475
eclipse内运行正常  打包通过脚本启动后hadoop报classnotfound等莫名其妙的错误     解决办法:       将所有依赖jar都打入到一个jar中即可       如图打包时选择第一项即可
【SpringBoot 远程提交MapReduce】 Error: java.lang.ClassNotFoundException: xxxxx包.xxxxx类
01-20
【SpringBoot】Error: java.lang.ClassNotFoundException: org.wltea.analyzer.core.IKSegmenter报错明细问题分析后记 报错明细 IDEA SpringBoot集成hadoop运行环境，本地启动项目，GET请求接口触发远程提交...
hbase程序报错：java.lang.ClassNotFoundException: org.apache.hadoop.hbase.client.Scan
xizhen2014的博客
08-01 962
根据报错返回的日志内容，可以看出，大致是我们在使用MapReduce去执行hhbase程序时，未找到类：org.apache.hadoop.hbase.client.Scan。我们只需要将hbase的jar包引用到hadoop的jar包中即可，亦或者我们执行程序前声明一下hadoop的类路径指向hbase的jar包位置。本地编写hbase程序后，maven生成jar包，提交到测试环境，使用MapReduce执行时，不管采取了以上哪两种方式，处理之后，再次提交hbase程序，就不会有报错了。
hadoop 启动java.lang.ClassNotFoundException:org.apache.hadoop.util.PlatformName
令狐二中
01-19 2293
hadoop 启动java.lang.ClassNotFoundException:org.apache.hadoop.util.PlatformName org.apache.hadoop.util.PlatformName属于hadoop auth包里面的一个类。 默认引入hadoop client的时候不会带入hadoop auth这个包。 引入hadoop client的时候需要带入hadoop auth包。 还有一种情况是引入的低版本的hadoop auth包。 改为引用相同包即可。 <de
重走MapReduce之路之报错java.lang.ClassNotFoundException
lies_joker的专栏
01-12 271
[size=large] String[] ioArgs = new String[] {"/usr/local/hadoop/hadooptmp/input/", "/usr/local/hadoop/hadooptmp/outdata"}; 在Myeclipse上直接运行Mapreduce项目会报错 java.lang.ClassNotFoundException: com.had...
MapReduce 程序运行报错 java.lang.ClassNotFoundException解决方法
xuan2717的博客
07-31 652
MapReduce 程序运行报错 java.lang.ClassNotFoundException解决方法
MapReduce 程序运行报错 java.lang.ClassNotFoundException解决方法
weixin_30920513的博客
11-05 664
在创建自定义的Mapper时候，编译正确，但上传到集群执行时出现错误： 11/16/05 22:53:16 INFO mapred.JobClient: Task Id : attempt_201111301626_0015_m_000000_0, Status : FAILED java.lang.RuntimeException: java.lang.ClassNotFoundExce...
hadoop分布式下打包运行时报java.lang.RuntimeException: java.lang.ClassNotFoundException的原因
_matter的专栏
07-10 1621
通过打包运行MapReduce程序的时候，当MapReduce
hadoop客户端提交作业错误：java.lang.RuntimeException: java.lang.ClassNotFoundException: Job$Mappe
le119126的专栏
11-10 2971
java.lang.RuntimeException: java.lang.ClassNotFoundException: Job$Mappe
已解决java.lang.ClassNotFoundException异常的正确解决方法，亲测有效！！！
最新发布
小明的Java问道之路
01-11 3万+
通过本文ClassNotFoundException问题能够得到解决。
java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/JobContext
liwenliang2的博客
12-26 5792
开始报错 JobContext在Hive-exec里面有，所以觉得很奇怪说class not found 。java.lang.NoClassDefFoundError两种原因。 1.这个jar包确实没有。导入。 2.依赖包有冲突。导致无法加载。这个冲突的包，有可能是这个找不到类所属的jar包。也有可能是函数调用时，其他类的所属jar包冲突了。 本例子中JobContext类有，只有一...
java.lang.classnotfoundexception: org.apache.hadoop.hive.ql.io.parquet.mapre
12-31
在你提供的问题中，异常的完整名称是java.lang.ClassNotFoundException: org.apache.hadoop.hive.ql.io.parquet.mapreduce.ParquetInputFormat。 这个异常通常发生在Java程序中使用Hadoop和Hive进行数据处理时。它...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值