hive报错 spark_【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkT...

ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.

前言

报错信息

异常分析

配置改动

后记

前言

在成功消除Cloudare管理界面上那些可恶的警告之后，我又对yarn的一些参数进行调优，最后重启了集群。当我提个任务(spark on yarn)并且看到并发及资源的分配情况正如自己先前所料的时候，我长舒了一口气，端起杯子拿上手机起身打算去接杯水消遣一下。

然而我一杯温水接完凑在嘴边，眼睛扫了一下手机刚打算痛饮一番的时候，同事在群里惊呼报错的消息就传来了：

当场惊的我一口靓汤来不及咽下，端着杯子一路洒水慌忙跑去问同事发生了什么事。

据了解，是调度上的一些原本正常的hive sql调度跑批任务(报错的均是将计算引擎设置为spark，即hive.execution.engine=spark)统统报错了。深吸一口气我故作镇定，默默返回到工位上，沉思究竟是出了什么幺蛾子。

我前思后想，总觉得是之前改动的一些配置造成了冲突，才致使任务提交异常。为了验证想法，我又要来了部分调度代码在hue上开始测试，而测试结果果如我想象那般，点击运行便报错。

报错信息

ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create S