SparkSQL：SparkSQL CLI Application report for application_15_0022 (state: ACCEPTED)

解决SparkSQL内存不足导致的应用挂起问题

九师兄

于 2017-08-10 09:21:53 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据-spark 文章标签： spark sparkSQL

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/77027762

大数据-spark 专栏收录该内容

204 篇文章 ¥49.90 ¥99.00

订阅专栏

本文介绍了在运行SparkSQL时遇到应用程序挂起的问题，原因是内存不足。分析发现之前的一个SparkSQL任务虽然被用户用ctrl+c终止，但实际上仍处于等待接受状态，占用了大量磁盘空间。通过检查Spark缓存目录和使用YARN命令杀死应用，成功解决了此问题。

在这里插入图片描述

1.使用命令去跑SparkSQL出现这个问题

[root@bigdata01 ~]# hive --service metastore
[root@bigdata01 spark-2.1.1-bin-hadoop2.7]# bin/spark-sql --master yarn-client --executor-memory 80g --conf spark.sql.warehouse.dir=hdfs://bigdata01.hzjs.co:8020/user/sparksql --conf spark.driver.maxResultSize=10g

17/08/10 09:10:19 INFO yarn.Client: Application report for application_1502172637456_0022 (state: ACCEPTED)
17/08/10 09:10:20 INFO yarn.Client: Application report for application_1502172637456_0022 (state: ACCEPTED)
17/08/10 09:10:22 INFO yarn.Client: Application report for application_1502172637456_0022 (state: ACCEPTED)
17/08/10 09:10:23 INFO yarn.Client: A

了解本专栏