hadoop2运行MR异常解决-NoSuchMethodException：xxMapper.<init>()

最新推荐文章于 2024-06-09 09:31:53 发布
最新推荐文章于 2024-06-09 09:31:53 发布
阅读量1.3k 收藏
点赞数
分类专栏： 大数据 hadoop 文章标签： 大数据 hadoop mr
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yipiantianys/article/details/50910180
版权
在运行Hadoop MapReduce（MR）任务时遇到`NoSuchMethodException`，问题源于内部类没有添加`static`修饰。解决方案包括将内部类声明为静态或将其提升为顶级类。修复这个问题后，MR作业应能正常执行。
摘要由CSDN通过智能技术生成

异常问题：

java.lang.Exception: java.lang.RuntimeException: java.lang.NoSuchMethodException: mrTest.TrafficApp$TrafficMapper.<init>()

        at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)
        at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:522)
Caused by: java.lang.RuntimeException: java.lang.NoSuchMethodException: mrTest.TrafficApp$TrafficMapper.<init>()
        at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:131)
        at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:742)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
        at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:243)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
        at java.util.concurrent.FutureTask.run(FutureTask.java:262)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
        at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.NoSuchMethodException: mrTest.TrafficApp$TrafficMapper.<init>()
        at java.lang.Class.getConstructor0(Class.java:2892)
        at java.lang.Class.getDeclaredConstructor(Class.java:2058)
        at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:125)

        ... 8 more

MR源码

package mrTest;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.Writable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class TrafficApp2 {
public class TrafficMapper2 extends Mapper<LongWritable, Text, Text, TrafficWritable>{

最低0.47元/天 解锁文章
yipiantianys
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java.lang.NoSuchMethodException: .getPortClassMap()
06-01
NULL 博文链接：https://hw1287789687.iteye.com/blog/2034439
java.lang.NoSuchMethodException: .mapper.DianMapper.<init>()
weixin_42547014的博客
03-09 1080
1.检查xml <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"> <mapper namespace="or...
【Java】成功解决Java报错：java.lang.NoSuchMethodException
最新发布
科技改变人类，技术成就未来
06-09 969
成功解决Java报错：java.lang.NoSuchMethodException。`java.lang.NoSuchMethodException` 是一种反射异常，当程序试图通过反射机制访问一个不存在的方法时抛出。这个异常通常发生在以下几种情况：1. **方法名称错误**：试图访问的反射方法名称拼写错误。2. **方法参数类型不匹配**：传递的参数类型与方法签名不匹配。3. **类加载器问题**：类加载器未正确加载包含该方法的类。4. **访问权限问题**：试图访问的方法为私有方法或受保护的方法，而当
在hadoop上跑mapreduce程序时出现NoSuchMethodException错误
weixin_40626699的博客
11-05 281
原因：Map类和Reduce类前面没用static修饰 hadoop调用map和reduce用的是反射机制，如果内部类不是静态的，则无法获得内部类的实例。 扩展： java里面static一般用来修饰成员变量或函数。但有一种特殊用法是用static修饰内部类，普通类是不允许声明为静态的，只有内部类才可以。被static修饰的内部类可以直接作为一个普通类来使用，而不需实例一个外部类。 解决办法：在...
Hadoop编程-自定义Hadoop数据类型报错：NoSuchMethodException
Veechange的博客
03-27 1594
Hadoop拥有自己一个I/O机制，要用Mapper、Reducer对数据进行处理，就离不开Hadoop提供的I/O基础数据类型，Hadoop提供了BooleanWritable、ByteWritable、IntWritable、FloatWritable、DoubleWritable、LongWritable等。用Hadoop提供的这些基础数据类型，可以解决一些简单的数据处理，如：最常见的“词频
java.lang.NoSuchMethodException: tk.mybatis.mapper.provider.base.BaseSelectProvider
08-20 549
产生原因：使用 tk.mybatis，启动类Application中@MapperScan注解 导入org.mybatis.spring.annotation.MapperScan包 错误 解决办法：
flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar
11-16
Flink-1.11.2与Hadoop3集成JAR包，放到flink安装包的lib目录下，可以避免Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies.这个报错，实现...
flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar.tar.gz
11-14
为解决这个问题，Flink社区提供了"flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-5.6.5-9.0.jar"这样的兼容包，这是一个"uber jar"，也称为fat jar，它包含了Flink对Hadoop 3.x的依赖，并进行了重打包处理，以避免类...
flink-shaded-hadoop-2-uber-2.7.5-10.0.jar.zip
05-27
这个压缩包中的 `flink-shaded-hadoop-2-uber-2.7.5-10.0.jar` 文件，是 Flink 针对 Hadoop 2.7.5 版本的“Uber JAR”，它是将多个依赖库打包在一起的单一 JAR 文件，旨在简化部署和运行流程。 首先，我们来理解...
hudi-hadoop-mr-bundle-0.11.0.jar
06-28
hudi-hadoop-mr-bundle-0.11.0.jar 配合文档
hadoop-3.1.1.3.1.4.0-315.tar.gz
10-11
ambari-2.7.5 编译过程中四个大包下载很慢，所以需要提前下载，包含：hbase-2.0.2.3.1.4.0-315-bin.tar.gz ，hadoop-3.1.1.3.1.4.0-315.tar.gz ， grafana-6.4.2.linux-amd64.tar.gz ，phoenix-5.0.0.3.1.4.0-315....
java.lang.NoSuchMethodException: tk.mybatis.mapper.provider.base.BaseSelectProvider.<init>()
xzh_blog
05-20 1184
错误原因：@MapperScan的导包错误。 正确的包： import tk.mybatis.spring.annotation.MapperScan;
java.lang.NoSuchMethodException: tk.mybatis.mapper.provider.ExampleProvider.＜init＞，tkmybatis报错
Java小皮孩
12-02 1950
错误描述 2020-12-02 15:59:34.188 ERROR 16044 — [nio-8080-exec-4] o.a.c.c.C.[.[.[.[dispatcherServlet] : Servlet.service() for servlet [dispatcherServlet] in context with path [/OnlineMall] threw exception [Request processing failed; nested exception is or
记录一次超级艰难的排查NoSuchMethodError错误历程
markMe1024的博客
12-15 329
首先，一般出现这种问题，都是不同版本jar包冲突导致的，而这些jar包也一般是第三方引入的。但是我这个问题难就难在，通过报错信息，我找到了找不到方法的类，进而定位到依赖的jar包，通过分析maven依赖树，我发现但是这个jar包根本就没有冲突！！ 于是，我产生了深深的怀疑，会不会不是maven的问题？？ 经过多方查证，我发现，jar包冲突是最可能的原因，那是不是我排查有什么遗漏的地方？ 不知道怎么突然来的灵感，我想到了要试一下屏蔽掉我定位到的依赖，然后再在项目代码里import javax.ws.rs.c
解决java.lang.NoSuchMethodException: tk.mybatis.mapper.provider.base.BaseSelectProvider
aituochang1886的博客
06-21 702
今天在集成Mapper时 出现如下错误 java.lang.NoSuchMethodException: tk.mybatis.mapper.provider.base.BaseSelectProvider.<init>() 遇到这个异常通常是@MapperScan配置的原因，导包导错了 解决方案：将红框里的换成import tk.mybatis.spring...
hadoop(mapreduce):java.lang.NoSuchMethodException: ******Mapper.<init>()
站在网络的肩膀上,自学成才
02-02 4606
15/02/02 13:36:23 INFO mapreduce.Job: Task Id : attempt_1422844968628_0014_m_000000_0, Status : FAILED Error: java.lang.RuntimeException: java.lang.NoSuchMethodException: cn.drh.hadoop.mr.wc.WordCount
java.lang.NoSuchMethodException: MapReduce.WordCount$MyMapper.<init>()
什么最重要？算法！！
07-02 3854
今天在YARN平台上测试了一个程序–wordcount：package MapReduce;import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import o
Cause: java.lang.NoSuchMethodException: com.taiji.dao.UserDao＜init＞错误
qq_53431569的博客
08-03 477
java.lang.NoSuchMethodException: com.taiji.dao.UserDao.(), 出现这个错误的原因是因为我的UserMapper.xml文件中 resultType中应该写成实体类的地址 错误就解决了。 还有一种相似的错误 java.lang.NoSuchMethodException:com.taiji.domain.User的错误 这是因为实体类中有无参构造，没有有参构造造成的。无参构造和有参构造都写上就OK了。 因为有了无参构造，会把默认的无参构造覆盖掉。所
正确解决java.lang.NoSuchMethodException异常的有效解决方法
wbajsjhhhhh的博客
05-13 2240
正确解决java.lang.NoSuchMethodException异常的有效解决方法
<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-core</artifactId> <version>3.2.1</version> </dependency>
07-15
这是另一个示例的 Maven 依赖项，用于引入 Apache Hadoop 的 hadoop-mapreduce-client-core 模块。 具体解释如下： - `<dependency>` 元素用于定义一个依赖项。 - `<groupId>org.apache.hadoop</groupId>` 指定了依赖项的组织或团队的唯一标识符为 "org.apache.hadoop"。 - `<artifactId>hadoop-mapreduce-client-core</artifactId>` 指定了依赖项的唯一标识符为 "hadoop-mapreduce-client-core"，表示引入的是 Hadoop 的 MapReduce 客户端核心模块。 - `<version>3.2.1</version>` 指定了依赖项的版本号为 "3.2.1"，表示引入的是 Hadoop 版本 3.2.1。 通过这个依赖项，Maven 将会自动下载并添加 Apache Hadoop 的 hadoop-mapreduce-client-core 模块到项目的构建路径中，使得你能够在项目中使用 Hadoop MapReduce 提供的功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值