spark练习案例_操作练习-Spark on Yarn

本文档详细介绍了如何将Spark应用部署在Yarn集群上,包括配置HADOOP_CONF_DIR或YARN_CONF_DIR,启动HDFS和Yarn,以及在Yarn上运行Spark应用时的常见问题和解决方法。特别强调了资源管理,如driver和executor的内存、CPU分配,以及在cluster模式下的部署注意事项。同时,文章还提到了Spark on Yarn的日志聚集功能和Job History Server的配置与使用。
摘要由CSDN通过智能技术生成

承接上一篇文档《Spark案例练习-打包提交》

将spark应用运行在yarn集群上

 官网地址:http://spark.apache.org/docs/2.0.2/running-on-yarn.html

1. 在spark-env.sh中配置HADOOP_CONF_DIR 或者 YARN_CONF_DIR

a92055322f336b6013ead4fda1acb8b8.png
HADOOP_CONF_DIR=/opt/bigdata/hadoop-2.7.3/etc/hadoop
7dda850069bcec13f5c0a5efb5494817.png

2. 启动hdfs和yarn

./sbin/start-yarn.sh 
bcf9913451b4396245086e81e0469fdf.png

3. 测试运行

浏览器访问master:8088

在8088端口下(yarn的UI下)查看下面语句的效果:

默认部署模式是client

执行命令

./bin/spark-submit --class 全包.类名 --master yarn jar包位置

这里遇到了一个错误

ERROR cluster.YarnClientSchedulerBackend: Yarn application has already exited with state FINISHED!

查了一下是因为内存分配不够导致的yarn强行关闭

往yarn-site.xml中加入

yarn.nodemanager.vmem-check-enabledfalse

重启hadoop即可解决

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值