Hive on Spark中遇到的Failed to create Spark client for Spark session的问题

Hive on Spark中遇到的Failed to create Spark client for Spark session的问题

在自学数仓项目中，遇到以下问题

错误提示：

org.apache.hadoop.hive.ql.parse.SemanticException:Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session dfea1fc3-5634-44c1-8a11-55ec733ea206

导致出现这个问题主要是Hive on Spark的资源不足导致,还有一种可能导致出现这情况，即namenode没有正常启动，可以检查一下

解决方法：

1、修改参数

修改capacity-scheduler.xml中的参数，文件位于$HADOOP_HOME/etc/hadoop

vim  capacity-scheduler.xml

将yarn.scheduler.capacity.maximum-am-resource-percent中value修改成0.8即可

<property>
    <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
    <value>0.8</value>
    <description>
      Maximum percent of resources in the cluster which can be used to run
      application masters i.e. controls number of concurrent running
      applications.
    </description>
  </property>

2、分发配置文件，进行同步

并将修改的capacity-scheduler.xml文件分发给其他节点中

可以通过rsync 或者 scp 分发给其他节点中

linux远程拷贝文件相关知识

3、将yarn重启

只需要将yarn的ResourceManager和NodeManager重新启动即可

stop-yarn.sh
start-yarn.sh

补充知识：

Apache Hadoop的使用的是容量调度器，它会每个资源队列中运行的Application Master占用的资源进行啦限制，是在capacity-scheduler.xml中yarn.scheduler.capacity.maximum-am-resource-percent参数实现的，默认值为0.1，即10%的资源。主要是为了防止大部分资源的被Application Master占用，而导致Map Task和 Reduce Task不能执行。在生产中不需要调整，在这里调整主要是我自己电脑资源不足导致的。