Hive on Spark中遇到的Failed to create Spark client for Spark session的问题

Hive on Spark中遇到的Failed to create Spark client for Spark session的问题


在自学数仓项目中,遇到以下问题

错误提示:

org.apache.hadoop.hive.ql.parse.SemanticException:Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session dfea1fc3-5634-44c1-8a11-55ec733ea206

导致出现这个问题主要是Hive on Spark的资源不足导致,还有一种可能导致出现这情况,即namenode没有正常启动,可以检查一下

解决方法:

1、修改参数

修改capacity-scheduler.xml中的参数,文件位于$HADOOP_HOME/etc/hadoop

vim  capacity-scheduler.xml

yarn.scheduler.capacity.maximum-am-resource-percent中value修改成0.8即可

<property>
    <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
    <value>0.8</value>
    <description>
      Maximum percent of resources in the cluster which can be used to run
      application masters i.e. controls number of concurrent running
      applications.
    </description>
  </property>

2、分发配置文件,进行同步

并将修改的capacity-scheduler.xml文件分发给其他节点中

可以通过rsync 或者 scp 分发给其他节点中

linux远程拷贝文件相关知识

3、将yarn重启

只需要将yarn的ResourceManagerNodeManager重新启动即可

stop-yarn.sh
start-yarn.sh

补充知识:

Apache Hadoop的使用的是容量调度器,它会每个资源队列中运行的Application Master占用的资源进行啦限制,是在capacity-scheduler.xmlyarn.scheduler.capacity.maximum-am-resource-percent参数实现的,默认值为0.1,即10%的资源。主要是为了防止大部分资源的被Application Master占用,而导致Map Task和 Reduce Task不能执行。在生产中不需要调整,在这里调整主要是我自己电脑资源不足导致的。

  • 1
    点赞
  • 1
    收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:精致技术 设计师:CSDN官方博客 返回首页
评论 1

打赏作者

Andy86666

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值