FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session e7509679-36bf-4bf9-973f-a091ddf0cb79
因为这个问题是偶发性的,并不是一开始就抛出这个异常。所以一个晚上都是调试,最后发现当这个队列资源达到100%后,如果短期内都没有任务空余资源释放出来提供给创建 sparksession使用,将会导致任务失败而抛出这个异常 。
解决办法 :加大client连接时间间隔;
修改hive的配置文件hive-site.xml
<!--Hive和Spark连接超时时间-->
<property>
<name>hive.spark.client.connect.timeout</name>
<value>100000ms</value>
</property>
或者在命令行中修改参数(临时的)
set hive.spark.client.server.connect.timeout=100000;