Hadoop运行jar包，提示ClassNotFoundException 找不到你写的类

最新推荐文章于 2023-07-20 22:35:31 发布

mosesRen

最新推荐文章于 2023-07-20 22:35:31 发布

阅读量7.1k

点赞数 4

分类专栏： hadoop 文章标签： java hadoop mapreduce

本文链接：https://blog.csdn.net/mosesRen/article/details/80779422

版权

hadoop 专栏收录该内容

0 篇文章 0 订阅

订阅专栏

最近做hadoop集群试验，用的hadoop2.7.4，遇到这么个问题，将自己写的wordcount打包成jar后，放到linux上后，执行hadoop jar mapreduce.jar WordCount input output 后，运行时，会报下面的警告

查了一些blog有的说可以添加解决

job.setJarByClass(getClass());

但是我加了之后发现并没有变化，后来发现hadoop无法识别你的包所以调用的时候应该是

hadoop jar com.xxx.xxxx.jar WordCount input output这样调用后问题解决

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

mosesRen

关注关注

4
点赞
踩
5

收藏

觉得还不错? 一键收藏
8
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

运行mapreduce任务缺失setJarByClass()报错找不到类

QYHuiiQ

05-27

469

报错信息中提示说是类找不到，但是直观来看，我的自定义Map类是在的，但是还是报错： [root@hadoop01 word_count_jar]# hadoop jar test_word_count-1.0-SNAPSHOT.jar wyh.test.mapreduce.WordCountMain 22/05/27 07:34:08 INFO client.RMProxy: Connecting to ResourceManager at hadoop01/192.168.126.132:8032 2

Hadoop jar xxx.jar时报错classnotfound,并且这个class是你自己的类

余康的专栏

06-04

3995

比如你写一个helloworld程序，结果hadoop jar xxx.jar放到集群上执行一哈哈，出现classnotfound了，而且志向你自己的helloworld.class，打开jar包瞅一眼，这个hellworld.class在包内，此时，兄弟，你可能忘记在你的job里设置job.setJarByClass了，yarn框架在resourcemanger上注册的时候，需要你提交你的jar

8 条评论您还未登录，请先登录后发表或查看评论

hadoop jar 找不到main class_10年老架构，教你HadoopJob使用第三方依赖jar文件，不来就后悔吧...

weixin_29556943的博客

02-04

304

前言当我们实现了一个Hadoop MapReduce Job以后，而这个Job可能又依赖很多外部的jar文件，在Hadoop集群上运行时，有时会出现找不到具体Class的异常。出现这种问题，基本上就是在Hadoop Job执行过程中，没有从执行的上下文中找到对应的jar文件(实际是unjar的目录，目录里面是对应的Class文件)。所以，我们自然而然想到，正确配置好对应的classpath，Map...

使用Hadoop执行jar命令出现ClassNotFound错误

说文科技，做有态度的研究。

01-30

6168

Hadoop jar命令出现ClassNotFound错误执行的命令如下：hadoop jar example-three.jar HDFSFolderShow /data 意思是去浏览hdfs中的/data文件夹。【需自己创建】错误语句如下：Exception in thread “main” java.lang.ClassNotFoundException: HDFSFolderSh

hadoop jar 找不到main class_明明有class为什么还是报ClassNotFoundException？

weixin_31068553的博客

01-28

846

描述我们修改接口时，习惯发布一个快照版本用于测试。我们的一个服务也是发布了快照版本，然后一个jar程序要依赖这个服务，修改pom文件打包部署后，通过java-jar命令执行这个jar程序，然后你懂的启动后报错了Exceptioninthread"main"java.lang.NoClassDefFoundError...Causedby:java.lang.ClassN...

关于IDEA打包JAR上传到Hadoop集群运行出现ClassNotFound的问题

weixin_43540084的博客

08-18

1260

复现尚硅谷大数据电信客服项目到数据分析的时候，发现无论怎么改变IDEA或者maven的打包方式、添加依赖jar，hadoop集群始终无法在运行项目的时候加载出来打包时候的其他第三方依赖，总会出现部分类的class not found exception（我尽力了也许是我不熟悉IDEA或者maven到底应该是怎么打包的）。...

hadoop部署jar包报错找不到类

qq_54094438的博客

07-20

428

在hadoop上运行wordcount示例代码时，报错Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.sxuek.wordcount.WCMapper not found。或者修改hdfs-site.xml文件配置不使用权限检查。2.hadoop运行时不知道如何找这个类。1.没有hdfs 的权限用户，代码添加。指定用户权限为root。指定job对象的主类。

hadoop java jar包_如何在hadoop中运行jar文件？

weixin_28950415的博客

02-23

1822

我使用以下语句使用this blog中的java文件创建了一个jar文件javac -classpath /usr/local/hadoop/hadoop-core-1.0.3.jar -d / home / hduser / dir Dictionary.java/usr/lib/jvm/jdk1.7.0_07/bin/jar cf Dictionary.jar / home / hduser ...

Hadoop | MapReduce学习笔记（一）使用Java实现MapReduce编程 | 打包词频统计程序为jar包提交到Hadoop集群并运行 | Mapper、Reducer、Driver

希望每天都能进步一点点

01-19

4366

Hadoop | MapReduce学习笔记（一）使用Java实现MapReduce编程 | 打包词频统计程序为jar包提交到Hadoop集群并运行 | Mapper、Reducer、Driver

HDFS提交到服务器提示找不到第三方jar，通过maven-assembly-plugin自定义打包

muyingmiao的专栏

09-19

1059

hadoop程序引入第三方依赖包fastjson，打包MapReduce程序，到集群上执行，或者在IDEA直接提交到YARN都报Error: java.lang.ClassNotFoundException: com.alibaba.fastjson.JSON...这个错误通过maven-assembly-plugin自定义打包解决此问题首先在pom.xml文件中添加插件声明： <b...

hadoop的有关jar包

09-07

资源包括hadoop-common-2.4.1.jar 、 hadoop-hdfs-2.4.1.jar、hadoop-mapreduce-client-app-2.4.1.jar、hadoop-mapreduce-client-common-2.4.1.jar、hadoop-yarn-api-2.4.1.jar、hadoop-yarn-client-2.4.1.jar等等等等等等还有好多就不一一列举了还有许多公共类的jar至少有五十个具体是哪一方面的也没有细看总之和hadoop有关

hadoop的各种jar包

10-26

使用ecplice操作hadoop所需要的各种jar包。包括hdfs,maprudce,yarn,httpfs,kms。

Hadoop的core下的jar包

12-08

当我们在idea工具里运行MapReduce程序时，报错权限问题，workaroundNonThreadSafePasswdCalls问题，NoSuchFieldError问题，将这个jar包替换源码maven仓库下的org\apache\hadoop\hadoop-core\1.2.1里的同名jar包即可

elasticsearch 与hadoop 相关的jar

04-01

包含 elasticsearch-hadoop-6.6.1.jar elasticsearch-hadoop-hive-6.6.1.jar elasticsearch-spark-20_2.11-6.6.1.jar elasticsearch-storm-6.6.1.jar 等

spark on yarn运行产生缺jar包错误及解决办法

mach_learn的专栏

12-09

9800

spark在很多时候由于配置的原因造成缺少jar包的情况，本文介绍了两种缺少jar包情况，并介绍了如何使用spark-submit的--jars和--driver-class-path参数将jar包动态调用。

Maven打包项目后上传Hadoop集群运行报ClassNotFoundException解决方案

weixin_42120901的博客

06-09

438

问题描述在学习hadoop集群搭建与使用时，测试wordcount分词计数时，在本地IDEA环境下可以成功运行，当用maven打包上传集群后运行报ClassNotFoundException 解决方案在查阅各个博客之后，找到了一个比较类似的问题，之后去尝试了一下，发现就是代码放置的问题。用maven创建项目后，在项目目录结构处，有两个文件夹，分别是main和test，如下图所示一般情况下，在test中写项目代码本地运行是可以执行的，但是上传到hadoop集群后出现找不到主类的情况，将写的代码放到

hadoop中有时运行会提示mapper找不到

caoyaqi的博客

12-17

3056

当hadoop运行时出现mapper找不到，或者不存在：可以把该java文件打jar包 比如：运行WorldCount.java文件时，出现上述错误，则可以将该Java文件export出jar格式，再把该jar包buildpath ----------------------------------------------------------------------------------

解决Eclipse中运行WordCount出现 java.lang.ClassNotFoundException: org.apache.hadoop.examples.WordCount$Token

计算机系统、存储

05-25

2549

转载至：这里在examples包中建立EJob类：package org.apache.hadoop.examples; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.net.URL;

运行hadoop jar 命令时，依赖第三方Jar包的解决方法

xie_597328548的专栏

08-19

6991

问题：将自己编写的MapReduce程序打包成jar后，如果要依赖第三方jar包，在运行 hadoop jar 命令时，提示 ClassNotFoundException .... 解决方法： 1.新建一个lib文件夹，将需要依赖的第三方jar包放到lib文件夹中; 2.将MapReduce程序打包后的jar包(如：test.jar)用WinRAR打开，然后装lib包拖到test.jar中即

java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnException