Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Sp

最新推荐文章于 2024-03-28 16:49:28 发布

papaver520

最新推荐文章于 2024-03-28 16:49:28 发布

阅读量2.5k

点赞数

分类专栏：大数据报错信息积累文章标签： hive spark hadoop

本文链接：https://blog.csdn.net/qq_43416132/article/details/125491922

版权

大数据报错信息积累专栏收录该内容

2 篇文章 2 订阅

订阅专栏

报错信息：

Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session

解决办法：修改hadoop的yarn-site.xml文件

添加以下内容：
 <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
    <property>
         <name>yarn.nodemanager.pmem-check-enabled</name>
         <value>false</value>
    </property>
    
    <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
    <property>
         <name>yarn.nodemanager.vmem-check-enabled</name>
         <value>false</value>
    </property>
    
     <!-- yarn容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    
    <!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>

其次：

删除tmp文件