spark-submit提交到yarn上常见错误

最新推荐文章于 2024-04-22 13:41:01 发布

风是外衣衣衣

最新推荐文章于 2024-04-22 13:41:01 发布

阅读量2.4k

点赞数 2

分类专栏：小知识点 hadoop spark 文章标签： submit-yarn executor-memory

本文链接：https://blog.csdn.net/weixin_41804049/article/details/86686127

版权

本文介绍了在将Spark作业提交到YARN时遇到的内存不足问题。默认executor内存设置为8GB，这可能导致问题。解决方法是在yarn-site.xml配置文件中调整相关内存参数，具体参数需根据机器实际内存设定。

摘要由CSDN通过智能技术生成

#!/bin/bash
systime=`date -d "-24 hour" +%Y%m-%d-%H-%M`
ym=`echo ${systime} | awk -F '-' '{print $1}'`
d=`echo ${systime} | awk -F '-' '{print $2}'`
h=`echo ${systime} | awk -F '-' '{print $3}'`
syst_print=`date`
echo ------------------------ $syst_print ------------------------------ >> /data/module/testcxb/rec_match.log

nohup /home/modules/spark-2.1.1/bin/spark-submit --master yarn --deploy-mode cluster --class com.emg.rec_match.RecMatch --name match --driver-memory 2G --executor-memory 7G --executor-cores 2 --num-executors 15 /data/module/testcxb/rec_match-1.0-SNAPSHOT.jar ${ym}/${d}

修改为yarn模式可能会出现内存不够的问题

19/01/24 10:03:00 INFO yarn.Client: Verifying our application has not requested more than the maximum memory capability of the cluster (8192 MB per container)
Exception in thread

最低0.47元/天解锁文章

风是外衣衣衣

关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
spark-submit提交到yarn上常见错误

#!/bin/bashsystime=`date -d "-24 hour" +%Y%m-%d-%H-%M`ym=`echo ${systime} | awk -F '-' '{print $1}'`d=`echo ${systime} | awk -F '-' '{print $2}'`h=`echo ${systime} | awk -F '-' '{print $3}'`syst...
复制链接

扫一扫