Hive的执行引擎Tez、spark出现的问题

最新推荐文章于 2024-08-28 17:47:40 发布
最新推荐文章于 2024-08-28 17:47:40 发布
阅读量1.7k 收藏 2
点赞数
分类专栏： 大数据 Hive Tez 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cuichunchi/article/details/108611831
版权

Hive on Tez中，切换成mr引擎出现以下问题：

hadoop版本为2.7.3

tez版本为0.9.1

因为tez安装目录中应该有hadoop-mapreduce-client-core、hadoop-mapreduce-client-common等jar，hadoop中也有hadoop-mapreduce-client-core、hadoop-mapreduce-client-common等jar，确认他们的版本是否相同，如果不同，会有这个问题；

解决：将tez低版本的jar替换成2.7.3版本即可。

这是我替换后的，重新进入即可。

Spark引擎报错

hive> set hiv
最低0.47元/天 解锁文章
cuichunchi
关注
专栏目录
Spark on Hive 和 Hive on Spark的区别与实现
Alex的博客
06-13 3590
Spark on Hive 是Hive只作为存储角色，Spark负责sql解析优化，执行。这里可以理解为Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。具体步骤如下：【总结】Spark使用Hive来提供表的metadata信息。Hive on Spark是Hive既作为存储又负责sql的解析优化，Spark负责执行。这里Hive的执行引擎变成了Spark，不再是MR，这个要实现比Spark on Hive麻烦很多, 必须重新编译你的spark和导入
hive运行引擎Tez出现错误
qq_20790447的博客
05-09 1768
运行hive之后出现以下问题， Exception in thread “main” java.lang.RuntimeException: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Hive metastore database is not init
Hive on spark 报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark
蘑菇丁的专栏
11-20 6034
解决方法如下： cp /opt/cloudera/parcels/CDH-5.13.3-1.cdh5.13.3.p0.2/lib/spark/lib/spark-assembly.jar /opt/cloudera/parcels/CDH-5.13.3-1.cdh5.13.3.p0.2/lib/hive/lib/ cp /etc/hadoop/conf/yarn-site.xml /etc/s...
Spark应用 | Hive On Spark性能调优
最新发布
xingyuelhb的博客
08-28 134
我们公司yarn node节点的可用资源配置为：单台node节点可用资源数：核数33cores、内存110G。Hive on Spark任务的基础配置，主要配置对象包括：Executor和Driver内存，Executor配额，任务并行度。Spark系统架构。
Hive On Tez 进度条不显示问题修复
NullPointerException的博客
09-10 1964
===========
hive可以进行查询，当涉及reduce操作时不能执行
weixin_42489619的博客
11-15 1263
增大reduce内存：hive-site.xml
hive报错——FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.StatsTask
热门推荐
m0_72976656的博客
07-02 1万+
执行完报错了:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.StatsTask。需要注意的是，之前的insert语句虽然报错了，但是已经向表里插入数据了，有可能会造成重复的数据。执行这个以后再执行insert语句，就不报错，插入数据成功了！insert into table--------的时候。然后同学让我加了一句话。今天向分区表插入数据。
Hive_引擎MR、Tez、Spark
qq_56870570的博客
08-20 5902
1.Hive引擎简介 Hive引擎包括：默认MR、Tez、Spark 不更换引擎hive默认的是MR。 Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是SparkSQL语法，Spark负责采用RDD执行。 2. Spark引擎 2.1HiveonSpark配置 1）兼容性说明 注意：...
cdh继承tez引擎 cdh添加tez引擎 hive引擎增加
07-07
在Hive的配置文件（如`hive-site.xml`）中，设置`hive.execution.engine`为`tez`来启用Tez执行引擎。同时，可能需要根据具体环境调整其他相关的Tez配置参数。 8. **常见问题与解决**： 集成过程中可能出现各种...
hive on spark 还是 spark on hive?
chashugu2022的博客
08-31 1966
在运行sql的时候，hive on spark 还是 spark on hive 到底是什么呢？它们是一个东西吗？区别是什么？
hive on spark 编译时遇到的问题
anjieqing1102的博客
12-31 277
1.官方网站下载spark 1.5.0的源码 2.根据官方编译即可。 export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" build/mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0 -DskipTests clean package ...
Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive
weixin_45420890的博客
03-31 1158
Hive 在处理 join 操作时，会根据表的大小进行优化选择合适的 join 算法。对于一个相对较小的表，Hive 会选择使用 Map Join 来加速处理，这种方式将小表的数据加载到内存中，以提高查询效率。然而，当内存无法容纳全部小表数据时，就会出现内存溢出错误。
Error解决：hive中的数组越界异常IndexOutOfBoundsException
小平子的专栏
12-12 8266
在spark中执行sql语句有时会出现IndexOutOfBoundsException的错误，如下： File "/opt/cloudera/parcels/SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101/lib/spark2/python/lib/pyspark.zip/pyspark/sql/session.py", line 708, in sql...
[已解决]FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to
Maynor的博客
11-01 1661
因为默认hive，spark任务数据先写到一个临时目录，等各个节点的数据都写完整以后，校验没问题了，在move到表的hdfs路径下（所谓move其实就是重命令），这个过程报错，说明跟hdfs有关系，跟yarn，hive，spark都没有关系了。（原因是因为为了数据安全，hdfs路径加T权限，只有表的所有者才可以删表，其他人删不了数据，估计是删表异常，造成数据未删除。既然跟hdfs有关系，那就说明一般是路径有问题（比如权限，路径异常，节点丢失等等）。很简单，把表所在的路径数据清空即可。
执行HiveSql时报错“FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTa”
终码一生
11-19 4510
执行HiveSql时报错“FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Permission denied: user=ods_pro, access=EXECUTE, inode="/tmp/hadoop-yarn":dwb_pro:hadoop:drwx------ at org.apache.hadoop.hdfs.server.namenode.FSPermi...
【原创】大叔经验分享（18）hive2.0以后通过beeline执行sql没有进度信息
weixin_30737363的博客
12-27 820
一 问题 在hive1.2中使用hive或者beeline执行sql都有进度信息，但是升级到hive2.0以后，只有hive执行sql还有进度信息，beeline执行sql完全silence，在等待结果的过程中完全不知道执行到哪了 1 hive执行sql过程（有进度信息） hive> select count(1) from test_table;WARNING: Hive-on-...
Hive中运行任务报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
99滴神
05-06 3910
错误如下： java.lang.IllegalArgumentException: Can not create a Path from an empty string at org.apache.hadoop.fs.Path.checkPathArg(Path.java:126) at org.apache.hadoop.fs.Path.<init>(Path.java:134) at org.apache.hadoop.mapreduce...
Tez安装与使用（与hive配合使用）及lzo.jar报错错误解决
C_time的博客
09-17 2364
1 tez的概览 1.1 tez介绍 1.1.1 介绍 tez是一个apache的开源项目，意在构建一个应用框架，能通过复杂任务的DAG来处理数据。它是基于当前的hadoop yarn之上，换句话就是yarn为其提供资源。 tez主要的两个设计目标: 增强终端用户使用: 灵活的数据流定义API 灵活的输入输出运行时模型(强调处理模型) 数据类型无关 简洁部署 高性能执行: 通过mapreduce提...
Hive支持的执行引擎：MR，Spark，Tez
05-17
是的，Hive支持多种执行引擎，包括MapReduce（MR），Spark和Tez。这些执行引擎都是用于执行Hive查询的底层工具。用户可以根据自己的需求选择适合自己的执行引擎。例如，MapReduce适合大规模数据处理，而Spark则可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值