【spark笔记】sparkOnYarn

最新推荐文章于 2022-06-15 16:43:35 发布
最新推荐文章于 2022-06-15 16:43:35 发布
阅读量235 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37911384/article/details/100944577
版权

常用两种模式：

standalone-->master  worker 
yarn

Yarn-cluster和Yarn-client区别:

从广义上讲，yarn-cluster适用于生产环境；而yarn-client适用于交互和调试，也就是希望快速地看到application的输出。

从深层次的含义讲，yarn-cluster和yarn-client模式的区别其实就是Application Master进程的区别，yarn-cluster模式下，driver运行在AM(Application Master)中，它负责向YARN申请资源，并监督作业的运行状况。当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行。然而yarn-cluster模式不适合运行交互类型的作业。而yarn-client模式下，Application Master仅仅向YARN请求executor，client会和请求的container通信来调度他们工作

使用yarn模式的时候，不需要启动master和worker了
只需要启动hdfs和yarn即可

提交命令示例：
在这里插入图片描述
Yarn运行任务的过程：

在这里插入图片描述

掌心里的海-Canace
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark实验：On Yarn模式安装部署（带答案）1
08-03
1. 解压Spark安装包 2. 配置Hadoop生态组件相关环境变量 2. 在 master 节点上，关闭HDFS的安全模式： 3. 在 master 节点上
Spark on YARN 笔记
thriving_fcl的博客
09-10 1398
一直对hadoop这套局限在会用就好，没有对hadoop生态有个系统性的深入了解，也就导致在用的时候出问题很难找到关键的原因，都得google so 各种找相关信息。所以现在觉得，还是得花一些时间，至少把与平时用到的相关部分的原理、概念理解清楚。只要是用hadoop生态的组件，很多都会用YARN来管理资源与任务分配。而资源分配的合理与否，直接关系到任务的执行效率，甚至决定成功或失败。spark又是现
Spark2.x学习笔记：5、Spark On YARN模式
weixin_30432179的博客
10-18 55
https://blog.csdn.net/chengyuqiang/article/details/77864246 转载于:https://www.cnblogs.com/timlong/p/9811029.html
Spark基础学习笔记06：搭建Spark On YARN集群
f54268589的博客
06-15 833
Spark基础学习笔记06：搭建Spark On YARN集群
spark yarn模式还用开启master，worker进程吗？
u012447842的博客
08-16 3127
目录 sparkstandlone集群部署 spark yarn集群部署时 spark yarn模式还用开启master，worker进程吗？ sparkstandlone集群部署 下载解压，进入官方下载地址下载最新版Spark。 下载spark-1.6.1-bin-hadoop2.6.tar.gz。 解压： tar-xvfspark-1.6.1-bin-hadoop2....
Spark on Yarn集群搭建手册
08-29
Spark on Yan集群搭建的详细过程，减少集群搭建的时间
Spark on Yarn模式部署.docx
10-03
Spark on Yarn模式部署.docx
Spark的Yarn模式
01-20
Spark基础理论： https://blog.csdn.net/weixin_45102492/article/details/104318250 Spark安装及Local模式：...Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-clus
Hive on Spark实施笔记1
08-08
编译环境OS – Ubuntu 14.04MavenScala (Spark编译时有用到)http://www.scala-lang.org/files/arc
android手机应用源码Imsdroid语音视频通话源码.rar
05-20
android手机应用源码Imsdroid语音视频通话源码.rar
营销计划汇报PPT，市场品牌 推广渠道 产品 营销策略tbb.pptx
05-20
营销计划汇报PPT，市场品牌 推广渠道 产品 营销策略tbb.pptx
JavaScript_超过100种语言的纯Javascript OCR.zip
05-20
JavaScript
JavaScript_跨平台React UI包.zip
05-20
JavaScript
node-v16.17.0-headers.tar.xz
最新发布
05-20
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
520表白代码.rar
05-20
520表白html5爱心代码
一个简单的HTML5和CSS代码示例，用于创建一个动态的爱心形状，并在网页上展示一个类似520表白的消息 这个示例使用了CSS的
05-20
520表白html5爱心代码 一个简单的HTML5和CSS代码示例，用于创建一个动态的爱心形状，并在网页上展示一个类似520表白的消息。这个示例使用了CSS的动画效果和HTML的结构。
智慧养老社区方案.pdf
05-20
智慧养老社区方案.pdf
node-v14.11.0-headers.tar.xz
05-20
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
spark on yarn
07-27
Spark on YARN是一种常用的Spark运行模式，它可以在Hadoop YARN集群上运行。Spark on YARN支持两种提交任务的方式，即YARN client模式和YARN cluster模式。在YARN client模式下，Spark驱动程序运行在客户端上，而在YARN cluster模式下，Spark驱动程序运行在YARN集群上。 在使用Spark on YARN时，可以使用以下命令提交作业： ``` ./spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../lib/spark-examples-xx.jar 100 ``` 这个命令将以YARN cluster模式提交一个Spark作业，其中`--master yarn`表示使用YARN作为Spark的主节点，`--deploy-mode cluster`表示以集群模式运行作业，`--class org.apache.spark.examples.SparkPi`指定了作业的入口类，`../lib/spark-examples-xx.jar`是作业的jar包路径，`100`是作业的参数。 另外，还可以使用以下命令以YARN client模式提交作业： ``` ./spark-submit --master yarn-client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-xx.jar 100 ``` 这个命令将以YARN client模式提交一个Spark作业，其中`--master yarn-client`表示使用YARN作为Spark的主节点，并将驱动程序运行在客户端上。 通过以上命令，可以在Spark on YARN上成功提交和运行Spark作业。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* *3* [Spark on Yarn详解](https://blog.csdn.net/WuBoooo/article/details/109479311)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值