Spark(4) -- Spark on YARN

最新推荐文章于 2023-03-01 10:04:19 发布
最新推荐文章于 2023-03-01 10:04:19 发布
阅读量167 收藏
点赞数
分类专栏： 大数据学习 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eraining/article/details/108894700
版权
本文详细介绍了如何将Spark Application提交到YARN集群上，包括设置环境变量、配置历史服务、提交应用以及解决整合Spark历史服务器的问题。重点讨论了在YARN上配置Spark的属性，如设置Master为yarn，配置HistoryServer地址，以及优化提交应用时的资源检查和依赖jar包。同时，还提供了启动服务和查看应用状态的步骤。
摘要由CSDN通过智能技术生成

 将Spark Application提交运行到YARN集群上，至关重要，企业中大多数都是运行在YANR上，文档:launching-spark-on-yarn
spark on yarn 模式官方文档说明:
running-on-yarn
running-on-yarn#configuration
 同时注意，如果我们的spark程序是运行在yarn上面的话，那么我们就不需要spark 的集群了，我们只需要找任意一台机器配置我们的spark的客户端提交任务到yarn集群上面去即可。

1. 属性配置

 当Spark Application运行到YARN上时，在提交应用时指定master为yarn即可，同时需 要告知YARN集群配置信息(比如ResourceManager地址信息)，此外需要监控Spa

了解本专栏 订阅专栏 解锁全文 超级会员免费看
erainm
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
spark-sql on yarn 、spark-shell on yarn 详解
wang2leee的博客
08-04 3850
关键字：spark-shell on yarn、spark-sql on yarn 前面的文章《Spark On Yarn：提交Spark应用程序到Yarn》介绍了将Spark应用程序提交到Yarn上运行。有时候在做开发测试的时候，需要使用spark-shell和spark-sql命令行，除了Local和Spark standalone模式，spark-shell和spark-sql也可以...
Spark-On-Yarn搭建模式
weixin_44442434的博客
06-29 909
一.修改yarn-site.xml 在node1上修改yarn-site.xml,指定MRHistoryServer地址信息并关闭yarn内存检查，因为spark运行在yarn上需要很多内存，yarn默认会对内存进行限制 <configuration> <!--配置yarn主节点的位置--> <property> <name>yarn.resourcemanager.hostname</name...
Spark on YARN运行过程，YARN-Client和YARN-Cluster
qq_41982570的博客
03-01 1297
Spark on YARN运行过程，YARN-Client和YARN-Cluster
spark-yarn提交任务
wayfarer__的博客
04-12 672
spark-yarn提交任务的几种方式1、Yarn模式两种提交任务方式1.1、yarn-client提交任务方式1.1.1 yarn-client执行流程1.2、yarn-cluster提交任务方式1.2.1 yarn-cluster执行流程1.3、ApplicationMaster作用 1、Yarn模式两种提交任务方式 1.yarn-client：用于测试，driver运行在本地客户端，负责调整application，会与yarn集群产生大量网络通信，网卡流量过大，导致网络阻塞i，可能会导致任务失败，好处
spark代码 spark-submit提交yarn-cluster模式
南国的技术栈
07-15 3906
worldcount yarn-cluster集群作业运行 上面写的是一个windows本地的worldcount的代码，当然这种功能简单 代码量少的 也可以直接在spark-shell中直接输scala指令。 但是在项目开发 企业运用中，因为本地的资源有限 使得无法发挥出spark的真正优势。因此 在这里 我就spark代码在集群中运行 做一些补充讲述。 我使用的环境是： idea编译器 jdk...
Spark：Yarn-Cluster和Yarn-Client的区别
不花的花和尚的博客
09-23 1453
0 首先注意的概念 ResourceManager：是集群所有应用程序的资源管理器，能够管理集群的计算资源并为每个Application分配，它是一个纯粹的调度器。 NodeManager：是每一台slave机器的代理，执行应用程序，并监控应用程序的资源使用情况。 Application Master：每一个应用程序都会有一个Application Master，它的主要职责是向RM申请资源...
Spark On Yarn --jars/spark.yarn.jars 踩坑 与 提升spark submit速度
BITDDD小栈
04-14 5849
一.引言 Spark submit 可以选择 --jars 传入本地的jar也可以 --jars 传入HDFS的jar包，经过半下午的实验，终于搞清了两者的关系以及 spark.yarn.jars 和它们的区别 二.--jars的使用 1.--jars 传入本地jar包 --jars a.jar,b.jar,c.jar 传入本地jar包时，只需要输入通道机的jar包地址即可，随后spark-submit脚本会执行Uploading resource的操作将本地的jar包拷贝到spar..
Spark on YARN的两种模式：YARN-Client，YARN-Cluster
weixin_44870066的博客
06-20 2461
Spark on YARN模式根据Driver在集群中的位置分为两种模式： YARN-Client模式； YARN-Cluster（或称为YARN-Standalone模式） 一、【YARN-client】 Spark Yarn Client向YARN的ResourceManager申请启动Application Master。同时在SparkContent初始化中将创建DAGScheduler和TASKScheduler等，由于我们选择的是Yarn-Client模式，程序会选择YarnClientClu
spark -- on yarn模式 Spark参数详解 IDEA编写Spark程序
kismet
04-08 2804
spark on yarn Spark on yarn：Spark 使用了 yarn 管理器。Spark 运行在 YARN 上时，不需要启动 Spark 集群，只需要启动 YARN 即可，YARN 的 ResourceManager 相当于 Spark Standalone 模式下的 Master。 spark中的两种模式（Cluster和Client） Cluster和Clien...
spark-on-yarn日志配置
寒夜
09-02 1197
spark on yarn 日志无法正常显示 是因为我们在运行spark任务后，默认是由AM进行历史任务汇聚，拼接的URL是job history的链接，但是spark里面>是drive负责汇聚，需要通过spark history进行收集后才能查看。 下面给出配置方式 1. 修改spark-defaults.conf 添加以下内容 spark.eventLog.enabled true spark.eventLog.compress true spark.eventLog.dir hdf
SPARK2_ON_YARN-2.4.0.cloudera2.jar
03-10
SPARK2_ON_YARN-2.4.0 jar包下载
基于docker搭建spark-on-yarn及可视化桌面.docx
最新发布
01-16
docker
spark-sql sql on yarn -deploy-mode cluster 改造
09-18
spark-sql sql on yarn --deploy-mode cluster 改造为 可以cluster提交
Kafka高级(5) -- Kafka中数据清理（Log Deletion）
erainm
09-16 2057
Kafka的消息存储在磁盘中，为了控制磁盘占用空间，Kafka需要不断地对过去的一些消息进行清理工作。Kafka的每个分区都有很多的日志文件，这样也是为了方便进行日志的清理。在Kafka中，提供两种日志清理方式： 1. 日志删除 2. 日志压缩
Kafka高级(6) -- Kafka配额限速机制（Quotas）
erainm
09-16 1888
生产者和消费者以极高的速度生产/消费大量数据或产生请求，从而占用broker上的全部资源，造成网络IO饱和。有了配额（Quotas）就可以避免这些问题。Kafka支持配额管理，从而可以对Producer和Consumer的produce&fetch操作进行流量限制，防止个别业务压爆服务器。 1. 限制producer端速率 2. 限制consumer端速率 3. 取消Kafka的Quota配置
Scala(6) -- scala类(成员变量、成员方法、修饰符)和对象
erainm
09-19 1837
1. 类和对象 2. 定义和访问成员变量 3. 下划线初始化成员变量 4. 定义和访问成员变量 5. 访问权限修饰符 6. 类的构造器 7. 单例对象 8. main方法 9. 伴生对象 10. 案例
Spark(53) -- StructuredStreaming -- 事件时间窗口分析
erainm
10-16 1528
1. 时间概念 2. event-time 窗口分析 3. event-time 窗口生成 4. 延迟数据处理 4.1 延迟数据 4.2 Watermarking 水位 4.3 官方案例演示
spark(56) -- SparkMllib -- SparkMllib的功能和应用场景
erainm
10-17 1452
1. SparkMllib简介及功能介绍 2. SparkML版本变迁 3. SparkMllib架构详解 4. 基于RDD的API与基于DataFrame的API区别和应用 5. SparkMllib的环境搭建与IDEA环境配置 6. RDD、DataSet、Dataframe区别及转化过程
Docker+Spark-on-Yarn集群搭建与可视化教程
本文档详细介绍了如何基于Docker技术搭建Spark-on-YARN的大数据集群，并实现可视化管理。首先，从整体上介绍大数据集群部署的基本概念，指出集群构建的核心是利用Docker创建虚拟化的容器环境，通过weave网络工具实现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

erainm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值