Tez执行MR任务时报错

事情是这样的问题我在执行DWS层命令dws_load_member_start.sh 2020-07-21时,报错了,这是所有的报错信息which: no hbase in (:/opt/install/jdk1.8.0_231/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/install/hadoop-2.9.2/bin:/opt/install/hadoop-2.9.2/sbin:/opt/install/flume-1.9.
摘要由CSDN通过智能技术生成

事情是这样的

问题

我在执行DWS层命令dws_load_member_start.sh 2020-07-21时,报错了,这是所有的报错信息

which: no hbase in (:/opt/install/jdk1.8.0_231/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/install/hadoop-2.9.2/bin:/opt/install/hadoop-2.9.2/sbin:/opt/install/flume-1.9.0/bin:/opt/install/hive-2.3.7/bin:/opt/install/datax/bin:/opt/install/spark-2.4.5/bin:/opt/install/spark-2.4.5/sbin:/root/bin)
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/install/hive-2.3.7/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/install/tez-0.9.2/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/install/hadoop-2.9.2/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

Logging initialized using configuration in jar:file:/opt/install/hive-2.3.7/lib/hive-common-2.3.7.jar!/hive-log4j2.properties Async: true
Query ID = root_20211014210413_76de217f-e97b-4435-adca-7e662260ab0b
Total jobs = 1
Launching Job 1 out of 1
Status: Running (Executing on YARN cluster with App id application_1634216554071_0002)

----------------------------------------------------------------------------------------------
        VERTICES      MODE        STATUS  TOTAL  COMPLETED  RUNNING  PENDING  FAILED  KILLED  
----------------------------------------------------------------------------------------------

----------------------------------------------------------------------------------------------
VERTICES: 00/00  [>>--------------------------] 0%    ELAPSED TIME: 8.05 s     
----------------------------------------------------------------------------------------------
Status: Failed--------------------------------------------------------------------------------
Application application_1634216554071_0002 failed 2 times due to AM Container for appattempt_1634216554071_0002_000002 exited with  exitCode: -103
Failing this attempt.Diagnostics: [2021-10-14 21:04:29.444]Container [pid=20544,containerID=container_1634216554071_0002_02_000001] is running beyond virtual memory limits. Current usage: 277.4 MB of 1 GB physical memory used; 2.7 GB of 2.1 GB virtual memory used. Killing container.
Dump of the process-tree for container_1634216554071_0002_02_000001 :
	|- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE
	|- 20544 20543 20544
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
当出现"tez任务报错since cpu usage is not yet available"的错误消息,这通常是因为Tez框架的CPU使用率尚不可用所引起的。 Tez是一个用于大规模数据处理的Apache软件基金会孵化项目,它建立在Hadoop之上。它通过创建任务执行器的方式来进行分布式计算,并提供高效的数据处理能力。 在某些情况下,当执行Tez任务,可能会出现CPU使用率未能即获取的问题。这可能是由于系统资源限制、网络延迟或其他因素导致的。 要解决此问题,可以采取以下步骤: 1. 检查系统资源:确保服务器上的CPU资源充足,并且没有受到其他处理任务的干扰。如果出现资源限制,可能需要增加计算资源以支持Tez任务的顺利运行。 2. 检查网络连接:尽量减少网络延迟,并确保网络连接稳定。通过检查网络连接和系统配置,可以排除网络因素对任务执行的影响。 3. 更新版本:如果使用的是旧版本的Tez框架,可能会出现性能问题。通过升级到最新版本,可以解决一些已知的问题和错误,提高CPU使用率的可用性。 4. 检查代码逻辑:检查任务代码是否存在错误或逻辑问题,可能会导致CPU使用率无法获取。确保代码在不同环境中都能正确执行。 5. 寻求专家帮助:如果以上步骤不能解决问题,可以寻求专家的帮助,例如咨询Tez社区或相关技术支持。 总之,当tez任务报错显示"CPU使用率不可用",我们需要综合考虑系统资源、网络连接和代码逻辑等多个方面的因素来解决问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值