IDEA本地运行hadoop程序成功，集群运行找不到自定义的Mapper类

最新推荐文章于 2022-11-30 16:02:43 发布
最新推荐文章于 2022-11-30 16:02:43 发布
阅读量512 收藏 1
点赞数
分类专栏： hadoop Java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nodarkness/article/details/111993801
版权

错误如下：

解决方案是在主类JobMain中添加如下：

 job.setJarByClass(JobMain.class);

然后再生成jar包运行即可！

nodarkness
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Hadoop: 自定义mapreduce方法，IDEA打包发送到终端运行，错误找不到mapper方法
gaohaojie9的博客
08-15 704
Hadoop: 自定义mapreduce方法，IDEA打包发送到终端运行，错误找不到mapper方法 最近在学习Hadoop，写了个例子，自定义的一个InputFormat的方法，在IDEA上运行没有问题，但是打包发送到终端后运行找不到mapper方法，找了半天发现是在Main方法里面少了一句 //mr程序，如果要打包到集群运行的，需要加这个 job.setJarByClass(MyInputFormatMain.class); 不加这句在IDEA里面没有问题，到终端就不行了。 还有个小错误在自定义的Rec
hadoop之Job显示Mapper未发现
博客标题不能为空
09-11 804
  跟着hadoop权威指南学，在重写InputFormat时候，Job运行发现错误： Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class test.SequenceFileMapper not found 缺少这一句：job.setJarByClass(SmallFilesToSequenceF...
Hadoop执行MapReduce程序时，报自定义Mapper类或者Reducer类没有初始化方法<init>错误
nyotengu的博客
08-07 2019
java.lang.Exception: java.lang.RuntimeException: java.lang.NoSuchMethodException: xxx.MapJoin$MyMapper.&lt;init&gt;() 原因：map类和reduce类前没有加static修饰。     hadoop在调用map和reduce类时利用的是反射机制，如果内部类不是静态的，则无法获取到...
hadoop中有时运行会提示mapper找不到
caoyaqi的博客
12-17 3036
当hadoop运行时出现mapper找不到，或者不存在：可以把该java文件打jar包 比如：运行WorldCount.java文件时，出现上述错误，则可以将该Java文件export出jar格式，再把该jar包buildpath ----------------------------------------------------------------------------------
Mapreduce运行自定义Map及Reduce类找不到
xugen12的专栏
04-12 3017
在Eclipse开发环境中，派发Mapreduce job到集群的过程中，往往出现自己定义的Map及Reduce类找不到的情况。这个时候可以将工程打成jar包，然后将jar包添加到工程中。这种方法过于繁琐，现只需要在配置job之前通过代码将自己的Map及Reduce类上传到集群即可。代码如下所示： Method addURL =  URLClassLoader.class.getDeclared
Idea运行MapperReduce本地环境配置(win10).rar
04-21
标题中的"Idea运行MapperReduce本地环境配置(win10)"指的是使用IntelliJ IDEA这款流行的Java开发集成环境，在Windows 10操作系统下配置MapReduce程序的本地运行环境。MapReduce是Hadoop生态系统中的一个核心组件，它...
MapReduce打Jar包上传至hadoop服务器运行的方法，需要其他有Hadoop运行环境
12-14
本教程将详细介绍如何在本地开发环境中创建一个MapReduce项目，将其打包成JAR文件，并上传到已经配置好的Hadoop集群上运行。 首先，你需要在本地环境中安装Java开发工具（JDK）和Maven，因为MapReduce程序是用Java...
windows下开发hadoop程序需要覆盖的本地库文件.zip
03-04
在Windows环境下，开发Hadoop程序通常涉及到与操作系统不完全兼容的问题，因为Hadoop主要设计时考虑的是Linux系统。为了在Windows上顺利进行开发，我们需要解决一些关键问题，其中包括配置正确的本地库文件。这个名...
Win本地测试hadoop
03-20
在Windows系统上进行Hadoop的本地测试可以帮助开发者在不依赖集群的情况下，快速验证代码功能和性能。 描述中的关键词“Windows本地”意味着我们将讨论如何在个人计算机上的Windows操作系统中设置Hadoop，以便进行...
Hadoop IDEA 本地调试MR 包含文档和所有的资源
11-06
在运行作业时，指定这个目录作为输入，IDEA会在本地模拟Hadoop集群执行MapReduce任务，并将结果输出到另一个指定目录。 6. **bin2.7.2.zip**：这个文件可能是Hadoop相关脚本或工具的压缩包，可能包含一些启动、停止...
SpringBoot远程提交任务到Hadoop集群报错java.lang.ClassNotFoundException: Class zut.edu.mapreduce.DeptMapper not
weixin_45102492的博客
02-26 340
在SpringBoot中编写MapReduce程序，并提交任务到集群，我实在本地调试的，一开始使用的是IntelliJ IDEA 2019.3 x64的右侧的Maven直接package直接打包，结果报错如下： Error: java.lang.RuntimeException: readObject can't find class at org.apache.hadoop.mapreduce.lib.input.TaggedInputSplit.readClass(TaggedInputSplit.j
idea运行map Reduce 时报：错误: 找不到或无法加载主类
Zsigner的博客
03-06 1165
问题描述：   使用idea编辑器，使用maven构建hadoop的mapreduce项目，在运行的时候提示报错：错误: 找不到或无法加载主类 com.hnxy.bin.JobRunner 错误排查： 1 可能是java的环境变量错误 解决方案：查看java的环境变量是否 正确 2 可能是未能成功编译： 解决方案： 菜单---》Build---》Rebuild Prodject 3 ...
（一）使用IDEA编写Mapper在Hadoop上执行
weixin_30487317的博客
06-03 159
1.在项目上鼠标右键 --> Open Module Settings 2.Artifacts --> + --> JAR --> From modules with dependencies... 3.Main Class是你这个项目(脚本)的主方法,就是要运行的类,选一个 4.如下图,设...
hadoop 关于使用idea使用hdfs命令查询不到文件信息的“bug“
佰梦的博客
10-16 754
RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true); 查询不到文件信息的原因是因为这个命令只能查询文件不能查询目录，因为你的hdfs上面没有文件只有目录所以运行结果就一直是空的，气死我了这弱智bug查了我半个多小时，真的是被自己蠢哭了。 问题是这种弱智bug，csdn也搜不到，留下这条信息给跟我一样的初学者，希望不要被这种弱智bug耽误时间。 ...
叫你写mapreduce--lesson2
wfp458113181wfp的专栏
09-12 1285
MapReduce第二节   还记得上一节的一个mr例子吗，对文件进行排序 #bin/hadoop jarcontrib/streaming/hadoop-streaming-1.2.1.jar -D mapred.compress.map.output=truemapred.job.reuse.jvm.num.tasks=4  -input/wolf1 -output /wolf2 -ma
第二章 关于MapReduce
刘伊凡2.0
07-14 363
Unix传统处理按行存储数据工具是awk MapReduce任务分为两个处理阶段:Map阶段和Reduce阶段。每个阶段都以键值对作为输入和输出，其类型有程序员来选择。程序员还需要些两个函数:map函数和reduce函数 map阶段为数据的准备阶段，此处我们比较合适去除去已损记录的地方，比如筛选缺失，可疑，错误的数据 防止覆盖的一个思路： reduce写入目录。在运行作业前该目录是如果存在
Mapper类——hadoop
热门推荐
孤竹的博客
05-25 1万+
1、Map是一些单个任务。Mapper类就是实现Map任务的类。haddop提供了一个抽象的Mapper基类，程序员需要继承这个基类，并实现其中相关的接口函数 一个示例Mapper类的定义如下： public static class MyMapper extend Mapper ①Mapper类是Hadoop提供的一个抽象类，程序员可以继承这个基类并实现其中的相关接口函数。它位于 o
关于IDEA出现报错： java.io.FileNotFoundException HADOOP_HOME and hadoop.home.dir are unset
a10534126的博客
04-28 3476
今天在跑wc的时候，代码仔细确认很多遍没有问题，但就是一直报错如下： Exceptioninthread"main"java.lang.RuntimeException:java.io.FileNotFoundException:java.io.FileNotFoundException:HADOOP_HOMEandhadoop.home.dirareunset.-seehttps://wiki.apache.org/hadoop/WindowsProblems atorg.apache.hadoop.ut
IDEA 本地远程执行MapReduce（HA集群）程序找不到自定义Mapper与Reduce类
AdamShyly的博客
11-30 647
本文通过IDEA本地执行MR程序的main函数 ，而不是打包成Jar手工放到服务器上运行，发现以下错误提示：No job jar file set，然后在HDFS的/tmp下也没发现有该项目的Jar包，可以推测是任务提交给yarn后，本地并没有将项目打包成Jar提交给ResourceManager，导致找不到Mapper与Reducer类。注意不能是绝对路径，必须是相对路径（项目文件为根路径），否则还是无法提交成功，但是No job jar file set的提示消失了，却依旧找不到类。
用idea编写一个Driver类将作业自动提交到Hadoop并运行
最新发布
06-10
很抱歉，我作为一个语言模型，无法与您进行实际的编程交互，但是我可以提供一些思路和建议。 首先，您需要安装Hadoop和Java环境，并且熟悉Hadoop的相关操作。 然后，您可以使用Java编写一个Driver类，用于提交作业到Hadoop集群并运行。具体步骤如下： 1. 创建一个配置对象，用于连接到Hadoop集群： ```java Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://localhost:9000"); conf.set("mapreduce.framework.name", "yarn"); conf.set("yarn.resourcemanager.address", "localhost:8032"); ``` 2. 创建一个Job对象，用于描述作业的输入输出和处理逻辑： ```java Job job = Job.getInstance(conf, "MyJob"); job.setJarByClass(Driver.class); job.setInputFormatClass(TextInputFormat.class); job.setOutputFormatClass(TextOutputFormat.class); FileInputFormat.setInputPaths(job, new Path("input")); FileOutputFormat.setOutputPath(job, new Path("output")); job.setMapperClass(MyMapper.class); job.setReducerClass(MyReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); ``` 3. 提交作业并等待完成： ```java if (job.waitForCompletion(true)) { System.out.println("Job completed successfully!"); } else { System.out.println("Job failed!"); } ``` 注意，上述代码中的`MyMapper`和`MyReducer`应该是您自己编写的Mapper和Reducer类，用于实现具体的数据处理逻辑。 最后，您可以使用IDEA等集成开发环境编写和调试这个Driver类，并将其打包成一个可执行的JAR文件。然后在命令行中使用`hadoop jar`命令提交作业即可。 当然，上述代码仅为示例，具体实现还需要根据您的具体需求进行调整。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值