问题写出:
Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 57c3a66a-7123-4d48-8fb7-de97a4c29832)'
FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 57c3a66a-7123-4d48-8fb7-de97a4c29832
hive on spark启动时 hive一直启动不了spark,开始了一天一夜的google,但是搜出来的都是版本问题,但是我的版本之间没有冲突。
后来就是叫我调大hive-site.xml中的参数
<!--Hive和Spark连接超时时间-->
<property>
<name>hive.spark.client.connect.timeout</name>
<value>100000ms</value>
</property>
以上的时间参数已经很大了,但是问题还是没有解决。
最后找到了问题的根本:
<property>
<name>spark.home</name>
<value>/user/local/spark/spark</value>
</property>
是在hive-site.xml文件中没有配置spark 的home,所以hive找不到spark,启动不了spark session。开始我还以为是我虚拟机的内存不够大,其实并不是。
贴出我的内存:
[root@hadoop01 xxxx]# free -h
total used free shared buff/cache available
Mem: 5.7G 2.0G 1.9G 11M 1.7G 3.3G
Swap: 1.0G 776K 1.0G
剩余1.9G内存,完全够用。
综上所述:
要在 hive-site.xml文件中写上自己的spark home目录。
提示:我的是在一台虚拟机上部署了单机版的spark。