hive on tez遇到问题

最新推荐文章于 2024-05-11 16:05:51 发布
最新推荐文章于 2024-05-11 16:05:51 发布
阅读量3.1k 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/linux_ja/article/details/46878165
版权

一、环境hive0.13，tez0.5.0

二、运行异常如下：

return code -101 from org.apache.hadoop.hive.ql.exec.tez.TezTask. org.apache.tez.mapreduce.hadoop.MRHelpers.getBaseMRConfiguration(Lorg/apache/hadoop/conf/Configuration;)Lorg/apache/hadoop/conf/Configuration;

三、查看hive和tez源码，在hive中org.apache.hadoop.hive.ql.exec.tez.DagUtils这个类中调用tez的getBaseMRConfiguration方法导致异常

JobConf conf = (JobConf) MRHelpers.getBaseMRConfiguration(hiveConf);
 

而在tez-0.5.x版本没有这个getBaseMRConfiguration该方法，只有在tez-0.4.x中，所以版本不匹配导致，所以要使用tez-.0.5.x只能用hive0.14及后来版本

谷雨hadoop
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive udf报101错误
A_xiaopihai的博客
01-15 1525
hive udf操作中的101问题 错误产生 hive自定义函数时，把jar包上传到了服务器，也执行命令成功添加jar包 add jar /usr/local/install/hive1.2.2/lib/ToUp.jar; 但在创建临时函数时，由于原代码有误，报出了空指针异常，在修改打包后重新上传，然后再次执行创建临时函数命令 create temporary function toUP as 'com.qf.hive.ToUp'; 此时报出错误return code -101 from org.apa
Hive on Tez出现exec.Task: Failed to execute tez graph. java.lang.NullPointerException
微电子学与固体电子学-俞驰
06-03 6646
报错复现: hive>select count(*) from student; 报错如下: 2020-06-03 22:00:36,787 ERROR [57ee4918-ac03-4f15-82c0-0cfd7cbcda73 main] exec.Task: Failed to execute tez graph. java.lang.NullPointerException at org.apache.hadoop.hive.ql.exec.tez.TezSessionState.ge
Hive on Tez 作业优化参数
最新发布
王羲之的之的博客
05-11 687
Tez AppMaster向RM申请的container大小-（单位：MB）OOM这个参数设定了 Tez 运行排序操作时可用的最大内存。排序操作的内存大小也会影响到排序的效率和性能。如果设置的过小，可能会导致频繁的磁盘I/O操作，进而影响性能。如果设置的过大，可能会占用过多的内存，导致其它操作无法正常执行。-（单位：MB）OOMTez AppMaster内存大小-（单位：MB）
[hive]return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. GC overhead limit exceeded
胖胖的博客
11-10 2452
2、group by 数据倾斜。1、调大reduce个数。
hive使用tez执行引擎insert报错
weixin_44870066的博客
04-08 3198
hive中配置号tez可以正常建表，但是insert报错 【错误提示】 FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.tez.TezTask. com.sun.jersey.json.impl.provider.entity.JSONRootElementProvider and com.sun.jersey.json.impl.provider.entity.JSONRootElementProv
Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hado
热门推荐
Jamie's Blogs
10-18 2万+
@[TOC](Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask (state=08S01,code=1)) Hive测试环境下报错 Error: Error while processing s...
hive - return code （数字） from org.apache.hadoop.hive.ql.exec错误系列集合
a123147abc的博客
04-20 6609
hvie - return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source hdfs://XXX to destination hdfs://xxx 原因：执行hive任务的用户对hdfs://xxx没有操作权限 解决：对目录授权 命令：hdfs dfs -chown -R use:group hdfs://xxx ...
hive on tez 常见报错问题收集
01-26
这里我们将深入探讨五个在Hive on Tez中常见的报错问题及其解决方案。 1. 错误一：Failing because I am unlikely to write too。 这个问题是由于Hive中的一个已知bug，具体问题可以在Apache JIRA的HIVE-16398中...
hive&tez.zip
08-06
Apache Hive和Tez是大数据处理领域中的两个重要组件，它们在Hadoop生态系统中扮演着关键角色。本篇文章将深入探讨这两个工具以及它们如何协同工作。 Hive是基于Hadoop的数据仓库工具，它允许用户通过SQL（称为HQL，...
大数据Hive on MR/TEZ与hadoop的整合应用
07-01
本课程主要介绍hive的架构与应用，首先介绍了hive的实现结构，然后介绍了Hive Metastore三种模式，接着重点介绍hive的安装与配置，以及hive sql的基本操作，后面又介绍了hive beeline、hive on tez的使用，并测试了...
cdh继承tez引擎 cdh添加tez引擎 hive引擎增加
07-07
在CDH环境中集成Tez引擎以提升Hive的性能，主要涉及以下几个关键步骤和知识点： 1. **Hadoop版本匹配**： ...在遇到问题时，参照文档中的截图和解决方法，或寻求社区支持，通常可以解决大部分问题。
Hive on Spark源码分析DOC
12-18
Hive on Spark源码分析 Hive on Spark 源码分析是指将 Hive 默认的执行...通过对 Hive on Spark 的源码分析，我们可以更好地理解 Hive on Spark 的运行机理和实现原理，从而更好地应用 Hive on Spark 解决实际问题。
Hive on Tez部署及验证测试
骑猪喝咖啡
06-04 1万+
该帖子主要记录Hive On Tez安装及验证测试，并详细记录验证过程中的各种坑，具体坑如下： org/apache/hadoop/mapred/MRVersion java.lang.NoSuchMethodError: org.apache.hadoop.mapred.TaskID org/apache/hadoop/util/StopWatch FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.
HIVE2:ERROR [main]: ql.Driver (:()) - FAILED: Execution Error, return code 1 from org.apache.hadoop.
swing2008的专栏
12-21 8514
在Hive2.1 on Tez环境中运行select count(*) from students;时，遇到 ERROR [main]: ql.Driver (:()) - FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask 查看hive日志，具体问题是： 2016-12
hive import 数据报错问题
Yrz7746321的博客
06-08 913
一、故障现象 经反馈，租户在hive使用import导入数据的时候出现报错现象 1. 报错的语句： importtable$db_user.$table_namepartition($p_partition)from'/files/ftp2/zhihui2061/qianyi/$table_name'; 2. 报错截图： FAILED:ExecutionError,returncode-101fromorg.apache.hadoop.hive.ql.exec.Cop...
Hive学习笔记 --- return code 1 from org.apache.hadoop.hive
杨鑫newlife的专栏
12-13 1万+
Hive学习笔记 --- return code 1 from org.apache.hadoop.hive
Hive 插入数据时遇到Return Code 2问题的解决
大数据挖掘SparkExpert的博客
04-15 1万+
正常情况下，估计很难遇到这个问题。 但是也刚好都碰上了这样的问题。于是把解决过程记录一下。 Hive运行成功之后，当输入select count(*) from XX或者插入数据时，居然碰到BUG。 2016-04-14 12:31:56,199 Stage-1 map = 0%,  reduce = 0% Ended Job = job_1460599682683_0
Hive on tez 运行报错集锦
cuichunchi的博客
10-26 1973
执行 hive：直接报java.lang.ClassNotFoundException: org.apache.hadoop.mapred.MRVersion CDH集群安装组件都ok，在Hue界面中使用Hive的HQL是都是ok的 但是直接在liunx中，打开客户端命令： 执行 hive：直接报java.lang.ClassNotFoundException: org.apache.hadoop.mapred.MRVersion 解决方案： 因为CDH的hive-site.xml配置文件中没
hive on spark 和 hive on tez 深入对比
05-26
Hive on Spark和Hive on Tez都是基于Apache Hive构建的分布式数据仓库系统，它们的主要目标是实现高效的SQL查询和分析。 Hive on Spark是基于Spark计算引擎的Hive版本。Spark是一个内存计算框架，它可以在内存中缓存数据，因此可以大大提高查询性能。与Hive on Tez相比，Hive on Spark的优点在于，它可以利用Spark的内存计算能力，从而支持更快的查询速度和更高的并行度。此外，Hive on Spark还支持Spark生态系统中的其他工具和库，如Spark Streaming、MLlib和GraphX等。 Hive on Tez是基于Apache Tez计算引擎的Hive版本。Tez是一个针对大规模数据处理的通用数据处理框架，它可以支持复杂的数据流处理。与Hive on Spark相比，Hive on Tez的优点在于，它可以更好地处理复杂的查询和数据流处理场景。此外，Hive on Tez还可以利用Tez的动态优化能力来提高查询性能，从而避免了Spark在处理大量数据时可能出现的内存问题。 综上所述，Hive on Spark和Hive on Tez在不同的场景下都有其独特的优势。如果你需要处理大量数据且查询较为简单，那么Hive on Spark是一个不错的选择。如果你需要处理复杂的查询和数据流处理场景，那么Hive on Tez可能更适合你的需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值