hive或spark的错误

FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session e7509679-36bf-4bf9-973f-a091ddf0cb79

 

因为这个问题是偶发性的，并不是一开始就抛出这个异常。所以一个晚上都是调试，最后发现当这个队列资源达到100%后，如果短期内都没有任务空余资源释放出来提供给创建 sparksession使用，将会导致任务失败而抛出这个异常 。

解决办法 ：加大client连接时间间隔；

修改hive的配置文件hive-site.xml

<!--Hive和Spark连接超时时间-->
<property>
    <name>hive.spark.client.connect.timeout</name>
    <value>100000ms</value>
</property>

或者在命令行中修改参数(临时的)

set hive.spark.client.server.connect.timeout=100000;