hive on spark 配置问题（不能启动spark session）

最新推荐文章于 2023-04-04 15:59:25 发布

Amos_Mu

最新推荐文章于 2023-04-04 15:59:25 发布

阅读量4.1k

点赞数 9

分类专栏： hive on spark 文章标签： spark hive hadoop

本文链接：https://blog.csdn.net/mys_35088/article/details/119192319

版权

hive on spark 专栏收录该内容

2 篇文章 1 订阅

订阅专栏

问题写出：

Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 57c3a66a-7123-4d48-8fb7-de97a4c29832)'
FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 57c3a66a-7123-4d48-8fb7-de97a4c29832

hive on spark启动时 hive一直启动不了spark，开始了一天一夜的google，但是搜出来的都是版本问题，但是我的版本之间没有冲突。

后来就是叫我调大hive-site.xml中的参数

<!--Hive和Spark连接超时时间-->
<property>
    <name>hive.spark.client.connect.timeout</name>
    <value>100000ms</value>
</property>

以上的时间参数已经很大了，但是问题还是没有解决。

最后找到了问题的根本：

<property>
  <name>spark.home</name>
  <value>/user/local/spark/spark</value>
</property>

是在hive-site.xml文件中没有配置spark 的home，所以hive找不到spark，启动不了spark session。开始我还以为是我虚拟机的内存不够大，其实并不是。

贴出我的内存：

[root@hadoop01 xxxx]# free -h
              total        used        free      shared  buff/cache   available
Mem:           5.7G        2.0G        1.9G         11M        1.7G        3.3G
Swap:          1.0G        776K        1.0G

剩余1.9G内存，完全够用。

综上所述：

要在 hive-site.xml文件中写上自己的spark home目录。

提示：我的是在一台虚拟机上部署了单机版的spark。