spark练习案例_操作练习-Spark on Yarn

最新推荐文章于 2022-03-27 11:01:19 发布
最新推荐文章于 2022-03-27 11:01:19 发布
阅读量205 收藏
点赞数
文章标签： spark练习案例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39705193/article/details/111624945
版权
本文档详细介绍了如何将Spark应用部署在Yarn集群上，包括配置HADOOP_CONF_DIR或YARN_CONF_DIR，启动HDFS和Yarn，以及在Yarn上运行Spark应用时的常见问题和解决方法。特别强调了资源管理，如driver和executor的内存、CPU分配，以及在cluster模式下的部署注意事项。同时，文章还提到了Spark on Yarn的日志聚集功能和Job History Server的配置与使用。
摘要由CSDN通过智能技术生成

承接上一篇文档《Spark案例练习-打包提交》

将spark应用运行在yarn集群上

 官网地址：http://spark.apache.org/docs/2.0.2/running-on-yarn.html

1. 在spark-env.sh中配置HADOOP_CONF_DIR 或者 YARN_CONF_DIR

a92055322f336b6013ead4fda1acb8b8.png 
HADOOP_CONF_DIR=/opt/bigdata/hadoop-2.7.3/etc/hadoop
7dda850069bcec13f5c0a5efb5494817.png

2. 启动hdfs和yarn

./sbin/start-yarn.sh
bcf9913451b4396245086e81e0469fdf.png

3. 测试运行

浏览器访问master:8088

在8088端口下(yarn的UI下)查看下面语句的效果：

默认部署模式是client

执行命令

./bin/spark-submit --class 全包.类名 --master yarn jar包位置

这里遇到了一个错误

ERROR cluster.YarnClientSchedulerBackend: Yarn application has already exited with state FINISHED!

查了一下是因为内存分配不够导致的yarn强行关闭

往yarn-site.xml中加入 

yarn.nodemanager.vmem-check-enabledfalse

重启hadoop即可解决

最低0.47元/天 解锁文章
weixin_39705193
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark练习案例_spark练习——影评案例
weixin_35931397的博客
01-14 944
第一次写博客，新人上路，欢迎大家多多指教！！！---------------------------------------------------------------------分割线---------------------------------------------------------------------现有如此三份数据：1、users.dat 数据格式为： 2::M::56...
Spark简单测试案例
01-09
Spark自带案例、代码案例测试! 环境： Hadoop1.2集群和Spark1.0集群 3个节点的Ubuntu12.1系统机器
spark on yarn实例练习
weixin_30507481的博客
12-30 138
1、spark on yarn作业提交（yarn-client模式） bin/spark-submit \--class dajiangtai.averageAge \--master yarn-client \--num-executors 1 \--driver-memory 1g \--executor-memory 1g \--executor-cores 1 \lib/wordcoun...
Spark on YARN 部署案例
weixin_33995481的博客
03-08 103
环境准备 1. 服务器角色分配 ip hostname role 10.8.26.197 server1 主名字节点 (NodeManager) 10.8.26.196 server2 备名字节点 (SecondaryNameNode) 10.8.26.196 server2 数据字节点 (DataNode) 2....
Spark的Yarn模式及其案例
Faith_xzc
08-11 2867
目录基本概念Yarn模式搭建1. 解压缩文件2.修改配置文件启动集群测试Spark中examples案例1. 提交应用2.Web 页面查看日志配置历史服务器1.具体步骤2.重新提交应用3.Web 页面查看日志 基本概念 独立部署（Standalone）模式由Spark 自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是也要记住，Spark 主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更靠谱
Spark on Yarn
思亘七险，点落九宫，神游八极，纵横十方。
06-05 303
Spark on Yarn 1.Yarn的产生背景 Hadoop Spark Standalone MPI …等分布式的框架 集群的资源利用率不够，就需要统一的资源管理和调度。 使用Yarn的话，多种计算框架可以共享集群资源，按需分配，这样可以提升集群资源的利用率。 2.Yarn架构 各自的职责以及重试的机制(挂了之后如何重新执行) RM： NM： AM： Container： 3.Yarn的执行...
pythonspark实例_Spark的Python编程－简单示例
weixin_39882589的博客
11-30 1189
安装好Spark 后，自带了一些demo, 路径在Spark根目录/examples/src/main/python/里面有些例子，例如统计字数的 wordcount.pyimport sysfrom operator import addfrom pyspark import SparkContextimport sysreload(sys)sys.setdefaultencoding("utf...
大数据技术之(一) Spark-Core
痞子磊的博客
07-07 1115
第1章 Spark 概述 1.Spark是什么 Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 2.Spark and Hadoop 在之前的学习中，Hadoop 的 MapReduce 是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架 Spark 呢，这里就不得不提到Spark 和Hadoop 的关系。 首先从时间节点上来看: Hadoop 2006 年 1 月，Doug Cutting 加入Yahoo，领导Hadoop 的开发 2008 年 ..
《Spark 1》--Spark 的简介、spark的 local 模式以及 Cluster 模式（standalone、on yarn、mesos）
yk_3215123的博客
08-04 499
Spark 介绍 行业广泛使用Hadoop来分析他们的数据集。原因是Hadoop框架基于一个简单的编程模型（MapReduce），它支持可扩展，灵活，容错和成本有效的计算解决方案。这里，主要关注的是在处理大型数据集时在查询之间的等待时间和运行程序的等待时间方面保持速度。 Spark由Apache Software Foundation引入，用于加速Hadoop计算软件过程。 ...
spark全案例
12-05
spark通过 java api开发方法的所有示例代码，保证准确可行
Spark环境搭建教程
xgb2018的博客
03-27 4253
Spark环境搭建 Spark Local本地模式 Standalone-独立集群 Standalone-HA Spark-On-Yarn Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎
Oozie 提交Spark On Yarn示例
热门推荐
pt707621764的专栏
09-05 1万+
大家好，我是crazy_老中医，我写程序就像老中医一样，全屏感觉和经验，但是有用！ 废话不多说，现在开始正文，本文将阐述如何将一个Spark程序通过oozie提交到hadoop的Yarn上运行。 准备工作 集群规划   hdp-master hdp-slave1 hdp-slave2 hadoop NameNod
初学SparkStreaming小案例（练习）
sjw2020的博客
06-07 458
流式处理socket数据，实现单词统计 import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.{SparkConf, SparkContext} /** * sparkStreming流式处理接受socket数据，实现单词统计 */
spark练习案例_spark学习（RDD案例实战）
weixin_32323455的博客
01-14 571
练习0(并行化创建RDD)先启动spark-shell通过并行化生成rddscala> val rdd1 = sc.parallelize(List(63,45,89,23,144,777,888))rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at :15查看该RDD的分区数量sc...
spark样例测试
doctorq
03-20 4114
spark on yarn计算平台已经搭建完成,下面来利用这个平台运行下官方的样例,样例全部在/home/work/spark目录下执行 SparkPi ./bin/spark-submit –class org.apache.spark.examples.SparkPi –master yarn –deploy-mode cluster examples/jars/spark-examples
spark练习案例_Spark案例练习-PV的统计
weixin_39765209的博客
11-30 183
承接上一篇文档《Spark应用的结构》参数说明：创建一个Maven项目Pom文件引入jar，配置信息已经完成，大家可以直接去网盘下载，版本号根据自己的安装情况调整部分示例创建一个scala文件，编写代码1. 构建SparkContext上下文对象val conf = new SparkConf()val sc = new SparkContext(conf)此时可以运行这两行代码会出现错误需要添加...
Spark案例练习-打包提交
learn_8的专栏
05-16 201
关注公众号：分享电脑学习 回复"百度云盘" 可以免费获取所有学习文档的代码（不定期更新） 云盘目录说明： tools目录是安装包 res 目录是每一个课件对应的代码和资源等 doc 目录是一些第三方的文档工具 承接上一篇文档《Spark案例练习-PV的统计》 打开端口18080的历史服务，会发现没有历史日志，现在我们想要显示历史日志。 采取以下的方式 一： //1. 构建SparkContext上下文对象 val conf = new SparkConf() .setMaster("local
Spark 源码系列（七）Spark on yarn 具体实现
weixin_34262482的博客
04-25 238
本来不打算写的了，但是真的是闲来无事，整天看美剧也没啥意思。这一章打算讲一下 Spark on yarn 的实现，1.0.0 里面已经是一个 stable 的版本了，可是 1.0.1 也出来了，离 1.0.0 发布才一个月的时间，更新太快了，节奏跟不上啊，这里仍旧是讲 1.0.0 的代码，所以各位朋友也不要再问我讲的是哪个版本，目前为止发布的文章都是基于 1.0.0 的代码。 在第一章《spark...
淘宝数据挖掘平台：Spark_on_Yarn的实践与优势
"基于Spark_on_Yarn的淘宝数据挖掘平台" 在大数据处理领域，Spark_on_Yarn已经成为一种流行的选择，特别是在大规模数据挖掘中。淘宝作为中国最大的电子商务平台，其技术部利用Spark_on_Yarn构建了一个高效的数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值