Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.

 
 问题描述：
    hql语句周期性调度执行，在某个时间后经常出现如下报错
    FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 
    报错的语句都是设置了 set hive.execution.engine=spark;参数，
    
    原因： 发现yarn中应用程序新增了很多任务，flink任务持续占用着资源导致资源满了

 

    
    解决方案：
        在hive 参数中搜索"hive-site.xml 的 HiveServer2 高级配置代码段（安全阀）" ,
        其中添加如下3个参数
        hive.spark.client.connect.timeout=30000
        hive.spark.client.server.connect.timeout=300000
        hive.spark.client.future.timeout=1200