Tez Was expecting dummy store operator but found: FS

最新推荐文章于 2024-01-07 23:33:04 发布
最新推荐文章于 2024-01-07 23:33:04 发布
阅读量2.8k 收藏 3
点赞数
分类专栏： Tez
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38751513/article/details/103084308
版权 
Vertex failed, vertexName=Reducer 2, vertexId=vertex_1573789493012_0007_1_02, diagnostics=
» Task failed, taskId=task_1573789493012_0007_1_02_000012, diagnostics=
» TaskAttempt 0 failed, info=
» Error: Error while running task ( failure ) : attempt_1573789493012_0007_1_02_000012_0:java.lang.RuntimeException: java.lang.IllegalStateException: Was expecting dummy store operator but found: FS
» 17

  at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor(TezProcessor.java:296)
  at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.run(TezProcessor.java:250)
  at org.apache.tez.runtime.LogicalIOProcessorRuntimeTask.run(LogicalIOProcessorRuntimeTask.java:374)
  at org.apache.tez.runtime.task.TaskRunner2Callable$1.run(TaskRunner2Callable.java:73)
  at org.apache.tez.runtime.task.TaskRunner2Callable$1.run(TaskRunner2Callable.java:61)
  at java.security.AccessController.doPrivileged(Native Method)
  at javax.security.auth.Subject.doAs(Subject.java:422)
  at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
  at org.apache.tez.runtime.task.TaskRunner2Callable.callInternal(TaskRunner2Callable.java:61)
  at org.apache.tez.runtime.task.TaskRunner2Callable.callInternal(TaskRunner2Callable.java:37)
  at org.apache.tez.common.CallableWithNdc.call(CallableWithNdc.java:36)
  at com.google.common.util.concurrent.TrustedListenableFutureTask$TrustedFutureInterruptibleTask.runInterruptibly(TrustedListenableFutureTask.java:108)
  at com.google.common.util.concurrent.InterruptibleTask.run(InterruptibleTask.java:41)
  at com.google.common.util.concurrent.TrustedListenableFutureTask.run(TrustedListenableFutureTask.java:77)
  at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
  at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
  at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.IllegalStateException: Was expecting dummy store operator but found: FS
» 17

  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.getJoinParentOp(ReduceRecordProcessor.java:421)
  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.getJoinParentOp(ReduceRecordProcessor.java:425)
  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.getJoinParentOp(ReduceRecordProcessor.java:425)
  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.getJoinParentOp(ReduceRecordProcessor.java:425)
  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.init(ReduceRecordProcessor.java:148)
  at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor(TezProcessor.java:266)
  ... 16 more
, TaskAttempt 1 failed, info=
» Error: Error while running task ( failure ) : attempt_1573789493012_0007_1_02_000012_1:java.lang.RuntimeException: java.lang.IllegalStateException: Was expecting dummy store operator but found: FS
» 17

  at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor(TezProcessor.java:296)
  at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.run(TezProcessor.java:250)
  at org.apache.tez.runtime.LogicalIOProcessorRuntimeTask.run(LogicalIOProcessorRuntimeTask.java:374)
  at org.apache.tez.runtime.task.TaskRunner2Callable$1.run(TaskRunner2Callable.java:73)
  at org.apache.tez.runtime.task.TaskRunner2Callable$1.run(TaskRunner2Callable.java:61)
  at java.security.AccessController.doPrivileged(Native Method)
  at javax.security.auth.Subject.doAs(Subject.java:422)
  at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
  at org.apache.tez.runtime.task.TaskRunner2Callable.callInternal(TaskRunner2Callable.java:61)
  at org.apache.tez.runtime.task.TaskRunner2Callable.callInternal(TaskRunner2Callable.java:37)
  at org.apache.tez.common.CallableWithNdc.call(CallableWithNdc.java:36)
  at com.google.common.util.concurrent.TrustedListenableFutureTask$TrustedFutureInterruptibleTask.runInterruptibly(TrustedListenableFutureTask.java:108)
  at com.google.common.util.concurrent.InterruptibleTask.run(InterruptibleTask.java:41)
  at com.google.common.util.concurrent.TrustedListenableFutureTask.run(TrustedListenableFutureTask.java:77)
  at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
  at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
  at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.IllegalStateException: Was expecting dummy store operator but found: FS
» 17

  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.getJoinParentOp(ReduceRecordProcessor.java:421)
  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.getJoinParentOp(ReduceRecordProcessor.java:425)
  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.getJoinParentOp(ReduceRecordProcessor.java:425)
  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.getJoinParentOp(ReduceRecordProcessor.java:425)
  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.init(ReduceRecordProcessor.java:148)
  at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor(TezProcessor.java:266)
  ... 16 more
, TaskAttempt 2 failed, info=
» Error: Error while running task ( failure ) : attempt_1573789493012_0007_1_02_000012_2:java.lang.RuntimeException: java.lang.IllegalStateException: Was expecting dummy store operator but found: FS
» 17

  at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor(TezProcessor.java:296)
  at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.run(TezProcessor.java:250)
  at org.apache.tez.runtime.LogicalIOProcessorRuntimeTask.run(LogicalIOProcessorRuntimeTask.java:374)
  at org.apache.tez.runtime.task.TaskRunner2Callable$1.run(TaskRunner2Callable.java:73)
  at org.apache.tez.runtime.task.TaskRunner2Callable$1.run(TaskRunner2Callable.java:61)
  at java.security.AccessController.doPrivileged(Native Method)
  at javax.security.auth.Subject.doAs(Subject.java:422)
  at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
  at org.apache.tez.runtime.task.TaskRunner2Callable.callInternal(TaskRunner2Callable.java:61)
  at org.apache.tez.runtime.task.TaskRunner2Callable.callInternal(TaskRunner2Callable.java:37)
  at org.apache.tez.common.CallableWithNdc.call(CallableWithNdc.java:36)
  at com.google.common.util.concurrent.TrustedListenableFutureTask$TrustedFutureInterruptibleTask.runInterruptibly(TrustedListenableFutureTask.java:108)
  at com.google.common.util.concurrent.InterruptibleTask.run(InterruptibleTask.java:41)
  at com.google.common.util.concurrent.TrustedListenableFutureTask.run(TrustedListenableFutureTask.java:77)
  at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
  at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
  at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.IllegalStateException: Was expecting dummy store operator but found: FS
» 17

  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.getJoinParentOp(ReduceRecordProcessor.java:421)
  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.getJoinParentOp(ReduceRecordProcessor.java:425)
  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.getJoinParentOp(ReduceRecordProcessor.java:425)
  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.getJoinParentOp(ReduceRecordProcessor.java:425)
  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.init(ReduceRecordProcessor.java:148)
  at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor(TezProcessor.java:266)
  ... 16 more
, TaskAttempt 3 failed, info=
» Error: Error while running task ( failure ) : attempt_1573789493012_0007_1_02_000012_3:java.lang.RuntimeException: java.lang.IllegalStateException: Was expecting dummy store operator but found: FS
» 17

  at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor(TezProcessor.java:296)
  at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.run(TezProcessor.java:250)
  at org.apache.tez.runtime.LogicalIOProcessorRuntimeTask.run(LogicalIOProcessorRuntimeTask.java:374)
  at org.apache.tez.runtime.task.TaskRunner2Callable$1.run(TaskRunner2Callable.java:73)
  at org.apache.tez.runtime.task.TaskRunner2Callable$1.run(TaskRunner2Callable.java:61)
  at java.security.AccessController.doPrivileged(Native Method)
  at javax.security.auth.Subject.doAs(Subject.java:422)
  at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
  at org.apache.tez.runtime.task.TaskRunner2Callable.callInternal(TaskRunner2Callable.java:61)
  at org.apache.tez.runtime.task.TaskRunner2Callable.callInternal(TaskRunner2Callable.java:37)
  at org.apache.tez.common.CallableWithNdc.call(CallableWithNdc.java:36)
  at com.google.common.util.concurrent.TrustedListenableFutureTask$TrustedFutureInterruptibleTask.runInterruptibly(TrustedListenableFutureTask.java:108)
  at com.google.common.util.concurrent.InterruptibleTask.run(InterruptibleTask.java:41)
  at com.google.common.util.concurrent.TrustedListenableFutureTask.run(TrustedListenableFutureTask.java:77)
  at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
  at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
  at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.IllegalStateException: Was expecting dummy store operator but found: FS
» 17

  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.getJoinParentOp(ReduceRecordProcessor.java:421)
  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.getJoinParentOp(ReduceRecordProcessor.java:425)
  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.getJoinParentOp(ReduceRecordProcessor.java:425)
  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.getJoinParentOp(ReduceRecordProcessor.java:425)
  at org.apache.hadoop.hive.ql.exec.tez.ReduceRecordProcessor.init(ReduceRecordProcessor.java:148)
  at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor(TezProcessor.java:266)
  ... 16 more
, Vertex did not succeed due to OWN_TASK_FAILURE, failedTasks:1 killedTasks:26, Vertex vertex_1573789493012_0007_1_02
» Reducer 2
killed/failed due to:OWN_TASK_FAILURE

DAG did not succeed due to VERTEX_FAILURE. failedVertices:1 killedVertices:0

经过几小时排查各种设置，终于发现原来是tez的reduce的内存设置太小了
在这里插入图片描述
设置为2gb，成功跑完任务

不搬砖的程序员不是好程序员
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
异常处理：Caused by: Java.lang.IllegalStateException
xiaochuanding的博客
11-08 2074
具体异常log如下； Caused by: Java.lang.IllegalStateException: This Activity already has an action bar supplied by the window decor. Do not request Window.FEATURE_SUPPORT_ACTION_BAR and set windowActionB
【踩坑专栏】java.lang.IllegalStateException: Expected state [STARTED] was [STOPPED]
不想睡觉的橘子君的博客
12-29 1万+
先介绍下背景，此时使用的是zookeeper+dubbo的注册中心框架，A项目依赖于B项目，我在A项目发起对B项目接口的调用的时候报了这么一个错， java.lang.IllegalStateException: Expected state [STARTED] was [STOPPED] 初看我还以为是zookeeper关闭连接导致的，看了下zookeeper server，确实有日志如下： 2021-12-29 10:21:58,680 [myid:] - WARN [NIOWorkerThread
Java性能优化之JVM GC（垃圾回收机制）
weixin_38751513的博客
11-20 129
JVM GC（垃圾回收机制） 在学习Java GC 之前，我们需要记住一个单词：stop-the-world 。它会在任何一种GC算法中发生。stop-the-world 意味着JVM因为需要执行GC而停止了应用程序的执行。当stop-the-world 发生时，除GC所需的线程外，所有的线程都进入等待状态，直到GC任务完成。GC优化很多时候就是减少stop-the-world 的发生。 ...
Error: attempt to setup a Window for datatype VARCHAR 和 Hive Runtime Error while processing row (ta
weixin_43681796的博客
11-06 854
环境： 这个问题在我使用CDH搭建的集群上遇到的，主要是建表的时候统一用的VARCHAR类型，不要问为什么，我也不太清楚，总之生产上就是这么做的就是了。然后执行聚合函数的窗口函数的时候报的这个错误。之前也有过这种类似的操作，但是还是第一次碰见这种错误，在我解决这个问题的过程中，出现了两种错误，我都记录了，但是不保证都是因为我说的这个原因。 问题内容： 第一个错误 Vertex failed, vertexName=Reducer 2, vertexId=vertex_1604444511298_001
Caused by: java.lang.IllegalStateException: 由于StackOverflower错误,无法完成
阿宣的博客
07-21 5715
Caused by: java.lang.IllegalStateException: 由于StackOverflower错误,无法完成
tez:Apache Tez
05-13
阿帕奇·特兹（Apache Tez） Apache Tez是一个通用的数据处理管道引擎，被设想为用于更高抽象的低级引擎，例如Apache Hadoop Map-Reduce，Apache Pig，Apache Hive等。 从本质上讲，tez非常简单，只有两个组成部分...
CDH6.3.2集成tez
最新发布
03-01
### CDH6.3.2集成tez #### 概述 Cloudera Distribution Including Apache Hadoop (CDH) 是一款由 Cloudera 公司提供的企业级大数据平台，它包含了 Hadoop 生态系统中的核心组件和服务。Tez 是一个支持复杂数据处理...
cdh继承tez引擎 cdh添加tez引擎 hive引擎增加
07-07
在CDH环境中集成Tez引擎以提升Hive的性能，主要涉及以下几个关键步骤和知识点： 1. **Hadoop版本匹配**： CDH版本需要与Tez版本相匹配。在这个例子中，CDH版本是6.2.0，而Tez版本是0.9.1。确保使用兼容的Hadoop...
tez-ui-0.10.1.war
05-12
【tez-ui-0.10.1.war】是一个重要的组件，它是Apache Tez用户界面的WAR（Web ARchive）文件，用于提供对Tez执行引擎的可视化监控和管理。Apache Tez是一个高性能、灵活的数据处理框架，它被广泛应用于Hadoop生态系统...
tez-0.9.1.tar.gz
05-14
《Tez框架在CDH6.3.2中的编译与应用详解》 Tez，一个由Apache Hadoop社区开发的通用数据处理框架，旨在提供更高效、灵活和可扩展的计算模型。在Hadoop生态系统中，Tez作为YARN上的任务调度和执行引擎，可以替代...
org.apache.catalina.LifecycleException: Failed to start component [StandardEngine[Catalina].Standard
qq_38912368的博客
01-14 452
Caused by: java.lang.IllegalArgumentException: Invalid <url-pattern> edit.html in servlet mapping     at org.apache.catalina.core.StandardContext.addServletMappingDecoded(StandardContext.java:31...
已解决java.lang.IllegalStateException异常的正确解决方法，亲测有效！！！
小明的Java问道之路
01-07 5万+
通过认真的问题分析、细致的代码审查以及正确的问题修正方法，是可以被成功解决的。遵循良好的编程实践，如合理的状态管理和防御性编程，可以显著减少此类问题的发生。以上是此问题报错原因的解决方法，欢迎评论区留言讨论是否能解决，如果本文对你有帮助 欢迎关注、评论，博主才有动力持续记录遇到的问题！！！博主v：XiaoMing_Java嗨，大家好，我是小 明（小明java问道之路），
简单理解java.lang.IllegalStateException异常:简单分析和简单解决方案
请叫我雷锋！！
12-19 6236
出现这样的问题是因为掉了多次response.getOutputStream().print(str);返回信息【response.getWriter().print(str)】 总之掉了两次的页面的输出流。。。。因为在jsp中，out变量是通过response.getWriter得到的，在程序中既用了response.getOutputStream，又用了out变量，故出现以上错误。
Hive Tez报错：errorMessage=Cannot recover from this error:java.lang.OutOfMemoryError: Java heap space
周源的专栏
02-26 1562
ERROR : FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask. Vertex failed, vertexName=Reducer 2, vertexId=vertex_1582200549031_0142_2_02, diagnostics=[Task failed, ...
java.lang.IllegalStateException异常以及解决
热门推荐
qq_43633916的博客
07-20 21万+
今天运行项目时出现的这个问题，java.lang.IllegalStateExceptio，第一次见到这个异常， 查询后 错误原因：该异常表示，当前对客户端的响应已经结束，不能在响应已经结束（或说消亡）后再向 客户端（实际上是缓冲区）输出任何内容。 具体分析：首先解释下flush()，我们知道在使用读写流的时候数据先被读入内存这个缓冲区中， 然后再写入文件，但是当数据读完时不代表数据已经写入文件完...
java.lang.IllegalStateException异常产生的原因及解决办法
qq_32306959的博客
12-18 1万+
错误类型大致为以下几种： java.lang.IllegalStateException：Cannot forward a response that is already committed IllegalStateException：response already commited IllegalStateException：getOutputStream(...
Hive Tez任务失败
wisgood的专栏
09-23 1万+
Hive Tez任务跑失败
java.lang.IllegalStateException: Expected BEGIN_OBJECT but was STRING at line 1 column 39 path $
想到哪记到哪
04-28 8万+
我在使用retrofit和Gson配合时，出现了这个问题，疑惑中乱七八糟瞎搞了一个下午没有解决。期间怀疑Gson解析不能使用泛型（因为我的解析使用了泛型），后来又觉得可能是我的关键字正好是解析器的某个关键字导致的异常，也打算过自定义Gson的解析过程，其实这些都不是。         第二天才搞明白，真正的问题是我的数据结构有问题，或者说我的解析出现了问题。         例如下面Json字
Hive支持的执行引擎：MR，Spark，Tez
05-17
是的，Hive支持多种执行引擎，包括MapReduce（MR），Spark和Tez。这些执行引擎都是用于执行Hive查询的底层工具。用户可以根据自己的需求选择适合自己的执行引擎。例如，MapReduce适合大规模数据处理，而Spark则可以更好地处理数据流和实时数据。Tez则可以提供更好的性能和效率。在Hive中，用户可以通过设置hive.execution.engine参数来指定使用的执行引擎。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值