hive on tez 执行报错 Container killed on request. Exit code is 137

最新推荐文章于 2023-09-14 11:26:58 发布
最新推荐文章于 2023-09-14 11:26:58 发布
阅读量805 收藏
点赞数
分类专栏： 总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35515661/article/details/112307929
版权
总结 专栏收录该内容
745 篇文章 88 订阅 ¥99.90 ¥99.00
订阅专栏

报错信息

----------------------------------------------------------------------------------------------
        VERTICES      MODE        STATUS  TOTAL  COMPLETED  RUNNING  PENDING  FAILED  KILLED  
----------------------------------------------------------------------------------------------
Map 1 ....       container        FAILED     22         10        0       12      11       0  
----------------------------------------------------------------------------------------------
VERTICES: 00/01  [===========>>---------------] 45%   ELAPSED TIME: 583.85 s   
----------------------------------------------------------------------------------------------
Status: Failed
Vertex failed, vertexName=Map 1, vertexId=vertex_1609754514776_0038_4_00, diagnostics=[Task failed, taskId=task_1609754514776_0038_4_00_000014, diagnostics=[TaskAttempt 0 failed, info=[Container container_1609754514776_0038_01_000045 f
了解本专栏 订阅专栏 解锁全文
Thomas2143
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
大数据Hive on MR/TEZ与hadoop的整合应用
07-01
本课程主要介绍hive的架构与应用，首先介绍了hive的实现结构，然后介绍了Hive Metastore三种模式，接着重点介绍hive的安装与配置，以及hive sql的基本操作，后面又介绍了hive beeline、hive on tez的使用，并测试了hive on MR和TEZ的性能优缺。 本课程以apache hadoop发行版本为例，介绍如何实现hadoop与hive的整合，hadoop环境采用手动安装的hadoop3.2.1环境，hive版本同样采用apache hive3.1.2发行版本。以3台主机为例作为hive安装环境，采用Centos7.7操作系统。 课程大纲如下：     1、hive的架构与应用场景 2、Hive Metastore三种运行模式 3、hive安装以及与hadoop整合 4、hive的安装与配置 5、启动metastore与hiveserver2服务   6、hive常用SQL操作 7、beeline的使用 8、tez的编译以及tez与hive整合步骤 9、测试tez功能以及与MR性能比较
hive&tez.zip
08-06
apache-hive-2.3.6-bin.tar.gz & apache-tez-0.9.1-bin.tar.gz
USDP使用笔记（五）设置Hive on Tez解决return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask问题
云来山更佳，云去山如画
03-12 2543
设置Hive on Tez解决return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask问题
Hive 任务限制同时运行的任务数量的配置
houzhizhen的专栏
09-14 964
Hive任务的并发控制，指同时运行的 container 的数量，防止先提交的任务占用全部的队列资源，导致后来提交的任务无法申请到足够的资源。Hive 任务的并发控制，和使用的引擎相关。
hive on tez
weixin_33804582的博客
06-18 623
hive运行模式 hive on mapreduce 离线计算（默认） hive on tez　　YARN之上支持DAG作业的计算框架 hive on spark 内存计算 hive on tez Tez是一个构建于YARN之上的支持复杂的DAG任务的数据处理框架。它由Hontonworks开源，它把mapreduce的过程拆分成若干个子过程，同时可以把多个mapreduce任...
Hive error log :FAILED: Execution Error, return code 137 from org.apache.hadoop.hive.ql.exec.mr.Mapr
10-22 495
From below log is not easy to find the root reason ,any body know that ,thx 2018-10-22 03:45:41 INFO 2018-10-22 03:45:41,651 Stage-2(job_1540003897972_375058) map = 100%, redu...
spark sql 任务失败------Container killed on request. Exit code is 137
qqqq0199181的博客
07-23 2337
问题 spark sql 执行多表join,executor 退出，报错Container killed on request. Exit code is 137。 问题分析 137错误是内存OOM的报错，对于这种情况应该增加executor的内存，或者减少executor的task并发数。 解决 1、增加driver 或者 executor的内存 编辑 spark-defaults.conf 配置 spark.executor.memory 10g spark.driver.memory 10g 或者
Spark之Container killed on request.Exit code is 137
南风知我意
10-28 1168
当容器（Spark 执行程序）内存不足时，YARN 会自动将其终止。这会导致“Container killed on request.Exit code is 137”（根据要求终止容器。退出代码为 137）错误。这些错误可能发生在不同的作业阶段，无论是否发生shuffle
企业级日志分析系统——ELK
boyuser的博客
11-19 942
本文介绍的是elastic stack开源的ELK组件，主要包括elasticsearch(简称es)，logstash，kibana三个核心组件。
Spark:Container exited with a non-zero exit code 137
u014407873的博客
05-06 6368
最近公司用户量暴涨，老板笑嘻嘻，但是搬砖的心里MMP，服务器压力骤然上升，最近大数据集群在跑spark任务时老是报“Container exited with a non-zero exit code 137”这样的错误，详细日志如下： 22/04/29 11:02:27 WARN YarnSchedulerBackend$YarnSchedulerEndpoint: Requesting driver to remove executor 4 for reason Container marked a
hive on tez 常见报错问题收集
01-26
1）Failing because I am unlikely to write too. 2）Caused by: java.lang.OutOfMemoryError: Java heap space ...5）hive on tez 最终insert的表如果使用到union all 时会导致直接查询结果表数据为空的
【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
01-07
ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. 前言报错信息异常分析配置改动后记 前言 在成功消除Cloudare管理界面上那些可恶的警告之后，我又对yarn...
源码apache-tez-0.8.3编译后的hadoop2.7.3版本hive-tez包tez-0.8.3.tar.gz
01-21
源码使用的是apache-tez-0.8.3，对应的hadoop版本2.7.3，源码包中的nodejs的版本是v0.12.3，很难编译通过，最后把nodejs改成了v4.0.0才编译通过tez-ui2模块。
hive bug
weixin_30553777的博客
11-18 707
SHELL$ hive -S -e “set” | grep warehouse hive.metastore.warehouse.dir=/user/hive/warehouse hive.warehouse.subdir.inherit.perms=false Status: Running (Executing on YARN cluster with App id...
hive tez due to:ROOT_INPUT_INIT_FAILURE java.lang.IllegalArgumentException: Illegal Capacity: -38297
yang灬仔
07-07 1921
hive tez 报错： Status: Failed Vertex failed, vertexName=Map 1, vertexId=vertex_1625122203217_0010_1_00, diagnostics=[Vertex vertex_1625122203217_0010_1_00 [Map 1] killed/failed due to:ROOT_INPUT_INIT_FAILURE, Vertex Input: info initializer failed, vertex=..
hive查询hudi表使用count报java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat
LZX的博客
02-09 3026
java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat
hadoop虚拟内存不足
ztx22555的博客
07-21 925
Current usage: 277.9 MB of 1 GB physical memory used; 2.7 GB of 2.1 GB virtual memory used. Killing container.
高级色系PPT11.pptx
最新发布
05-08
高级色系PPT11.pptx
hive on spark 和 hive on tez 深入对比
05-26
Hive on Spark和Hive on Tez都是基于Apache Hive构建的分布式数据仓库系统，它们的主要目标是实现高效的SQL查询和分析。 Hive on Spark是基于Spark计算引擎的Hive版本。Spark是一个内存计算框架，它可以在内存中缓存数据，因此可以大大提高查询性能。与Hive on Tez相比，Hive on Spark的优点在于，它可以利用Spark的内存计算能力，从而支持更快的查询速度和更高的并行度。此外，Hive on Spark还支持Spark生态系统中的其他工具和库，如Spark Streaming、MLlib和GraphX等。 Hive on Tez是基于Apache Tez计算引擎的Hive版本。Tez是一个针对大规模数据处理的通用数据处理框架，它可以支持复杂的数据流处理。与Hive on Spark相比，Hive on Tez的优点在于，它可以更好地处理复杂的查询和数据流处理场景。此外，Hive on Tez还可以利用Tez的动态优化能力来提高查询性能，从而避免了Spark在处理大量数据时可能出现的内存问题。 综上所述，Hive on Spark和Hive on Tez在不同的场景下都有其独特的优势。如果你需要处理大量数据且查询较为简单，那么Hive on Spark是一个不错的选择。如果你需要处理复杂的查询和数据流处理场景，那么Hive on Tez可能更适合你的需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Thomas2143

您的打赏是我的动力!!!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值