MapReduce中使用Avro出现TaskAttemptContext异常

已于 2022-05-15 22:20:12 修改
阅读量327 收藏
点赞数
分类专栏： hadoop 文章标签： mapreduce hadoop big data
于 2022-05-15 18:31:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chxijian2008/article/details/124785724
版权

打包上传Jar包到Hadoop环境下运行时，出现异常：

Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected

在网上找了很多的解决办法，都没有解决相应的问题。最后解决方案如下：

解决办法：

生成jar包时，主类选择对应的java文件

需要把依赖jar包 avro-mapred-**.jar 上传到 $HADOOP_HOME/share/hadoop/mapreduce目录下，并且一定上传分类器版本对应haddop的jar。

如：我使用的是：avro-mapred-1.11.0.jar，将对应jar上传到对应目录

菜鸟中的奋斗鸟
关注
专栏目录
IDE远程提交mapreduce任务至linux，遇到ClassNotFoundException: Mapper
Lance的专栏
02-23 6566
情况 VMware上安装了Linux系统，部署伪分布式hadoop2。我在Windows宿主机用IDEA或Eclipse编写MapReduce程序，提交任务之后，运行时报错： Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.lance.common.entity.LineSplitMa
Mapreduce读写Avro序列化文件
YF_Li123的博客
11-17 975
目录 (1)  MapReduce读取Avro格式文件 (2)  MapReduce写入Avro格式文件 以WordCount为例来简单说明一下MapReduce如何读写Avro格式的序列化文件，小白初学，如有错误，欢迎批评指正！ 首先pom.xml文件中需要引入相关依赖 <properties> <arvo.version>1.8.2</arvo...
Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
Qi.zheng
12-24 4172
当本地编译测试过的mapreduce程序放到集群上跑则报以下错误 15/12/24 14:19:36 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1448435314558_0043 15/12/24 14:19:37 INFO impl.YarnClientImpl: Submitted application ap
Hadoop MapReduce 任务执行流程源代码详细解析
热门推荐
RiverM的专栏
09-27 1万+
目录 1 引言  1.1 目的  1.2 读者范围 2 综述 3 代码详细分析  3.1 启动Hadoop集群  3.2 JobTracker启动以及Job的初始化  3.3 TaskTracker启动以及发送Heartbeat  3.4 JobTracker接
运行hadoop MapReduce程序常见错误及解决方法整理
海兰
02-09 1296
一、Permission denied 1、Win系统下用Eclipse中运行远程hadoop MapReduce程序出现报错 org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=xxx, a...
Hadoop之TaskAttemptContext类和TaskAttemptID类
weixin_30249203的博客
04-18 484
先来看看TaskAttemptContext的类图 ： Figure1：TaskAttemptContext类图 用户向Hadoop提交Job（作业），Job在JobTracker对象的控制下执行。Job不是独立完成的，Job提交后，Hadoop根据集群的规模将Job分解为若干个Task（任务），然后分发到集群中，在TaskTracker的控制下运行。Task包括Map Task和...
Avro-MapReduce
07-09
Avro-MapReduce 参考： : 始终使用以下链接 Avro 命令行 Avro 与 Hive Settings.xml 在 Maven 中包含 Hadoop 类路径 ----------------------------------数据准备--------------- ---------------- 1.student....
avro+mapreduce安装报告
01-11
avro是hadoop中一个序列化项目，avro和mapreduce结合如何使用，可以实现数据结构化并且序列化和反序列化
[Hadoop源码解读]（六）MapReduce篇之MapTask类
云计算?
09-08 156
MapTask类继承于Task类，它最主要的方法就是run()，用来执行这个Map任务。 run()首先设置一个TaskReporter并启动，然后调用JobConf的getUseNewAPI()判断是否使用New API，使用New API的设置在前面[Hadoop源码解读]（三）MapReduce篇之Job类讲到过，再调用Task继承来的initialize()方法初始化这个task，...
Hadoop mapreduce
云守护的专栏
08-18 872
1、 package com.jiepu.mr; import java.io.IOException; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoo
Mapreduce报错：java.lang.ClassNotFoundException: Class Mapper not found
aabb7654321的博客
04-15 1474
mapreduce找不到mapper类 解决方法： 开始自己用的是mapreduce自己打包的一种方法： job.setJarByClass(StandardJob.class); 但这样一直在报错：找不到打包的jar WARN mapred.JobClient: No job jar file set. User classes may not be found...
Hadoop之MapReduce的MapTask详解
Hao_JunJie的博客
04-01 9574
一、前提： 我们写的Driver类，提交之后，根据默认的FileInputFormat的getSplit() 方法之后，将切片信息和配置信息还有jar包上传到指定目录之后，yarn根据切片信息，启动相应的MapTask，然后去执行任务。 二、通过源码的方式，详解MapTask： 下面是MapTask类的run() 方法： @Override public void run(final JobConf job, final TaskUmbilicalProtocol umbilical)
IncompatibleClassChangFound interface org.apache.hadoop.mapreduce.JobContext, but class was expected
12-09 5678
Sqoop实现oracle数据导入hbase时出错 在执行sqoop import --connect jdbc:mysql://192.168.1.107:3306/digta \--username root --password hadoop --table department --columns "id,name,describes" 的时候出现错误提示 Exception in
hive启动报错：NoClassDefFoundError
mlfh1234的博客
02-09 3322
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/TaskAttemptContext 这个报错是因为少包的原因。因为报错中提到org/apache/hadoop/mapreduce/TaskAttemptContext 是mapreduc
MapTask.java
qq_18532033的博客
03-28 179
@SuppressWarnings("unchecked") private <INKEY,INVALUE,OUTKEY,OUTVALUE> void runNewMapper(final JobConf job, final TaskSplitIndex splitIndex, final T...
Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected
puredreammer的博客
12-22 1805
Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected
mapreduce程序运行的两种方式
gwnszbd的博客
04-09 1334
1)在window系统中的IDE上运行，我用的是ideaconf.set("mapreduce.job.jar", "target/mapreduce_test-1.0-SNAPSHOT.jar");// 程序中必须指定jar包的本地路径 conf.set("mapreduce.app-submission.cross-platform", "true");// 跨平台提交还需要添加JVM参数：-...
mapreduce中使用广播优化程序会出现的问题。
最新发布
06-08
在MapReduce中使用广播优化程序，可能会出现以下问题： 1. 网络开销：广播操作需要将数据从主节点发送到所有从节点，这可能会导致网络拥塞和延迟。 2. 内存限制：广播的数据需要存储在每个从节点的内存中，如果...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值