Spark on yarn

最新推荐文章于 2024-02-17 19:11:27 发布
最新推荐文章于 2024-02-17 19:11:27 发布
阅读量599 收藏
点赞数
分类专栏： Hadoop/CDH
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jethai/article/details/52345292
版权


wKiom1YaA-yz3YFCAAGJmO2kXJc602.jpg


ResourceManager  资源管理   只有一个（资源以Container表示）

ApplicationMaster  应用管理   用户每提交一个application都包含一个ApplicationMaster
NodeManager 每个节点对应一个


ApplicationMaster 启动后向ResourceManager要资源


wKioL1YaB62DOk9mAANvlFeS4og280.jpg


每个Executor对应一个Container

每个SparkContext有一个ApplicationMaster


wKiom1YbAwzTEmMjAALxE-8QAmI508.jpg

spark支持的两种模式区别 Spark Driver运行在哪儿

yarn-cluster（YarnClusterScheduler） （driver和ApplicationMaster运行在一起，client看不到运行结果）

yarn-client  （YarnClientClusterScheduler）（driver和client运行在一起，适用于终端返回结果）

wKioL1YaDUGg9LEyAAKhKvrvEKE931.jpg






本文出自 “点滴积累” 博客，请务必保留此出处http://tianxingzhe.blog.51cto.com/3390077/1701836

小小程序员1986
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark on Yarn
weixin_42163700的博客
06-20 266
Spark on Yarn 根据Driver 在集群中的位置分为两种模式，一种是Yarn-Client 模式，一种是 Yarn-Cluster模式（又称为standalone模式）Yarn-Client模式中，Driver在客户端本地运行，这种模式可以使得Spark Application和客户端进行交互，因为Driver在客户端，所以可以通过webUI访问Driver的状态，默认是http://...
Spark On YARN
luckGeek的博客
05-09 218
概述：本文主要讲述如何将本地Spark工程打包放到YARN中运行。 1、基本案例 （1）spark-shell位置 cd /root/app/spark-2.4.2-bin-hadoop2.6/bin （2）设置HADOOP_CONF_DIR位置 export HADOOP_CONF_DIR=/root/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop #或写...
Spark on Yarn 环境搭建
weixin_37536020的博客
07-02 1141
当Spark Application应用提交运行在YARN上时，默认情况下，每次提交应用都需要将依赖Spark相关jar包上传到YARN 集群中，为了节省提交时间和存储空间，将Spark相关jar包上传到HDFS目录中，设置属性告知Spark Application应用。计算圆周率PI的Spark程序，提交到Yarn上运行，在Centos平台上直接用spark-sumbit脚本提交程序。三台Centos7机器: 主机名分别为：node1、node2、node3。设置资源信息，提交运行pi程序至YARN上。
Spark on Yarn安装配置
weixin_44794485的博客
01-22 1900
步骤1：复制和解压Spark安装包解压文件：将Spark安装包解压到/opt/module目录中。
Spark On Yarn
m0_46538284的博客
01-04 574
1.配置Hadoop ①需要在/etc/profile中配置HADOOP_CONF_DIR的目录，目的是为了让Spark找到core-site.xml、hdfs-site.xml和yarn-site.xml【让spark知道NameNode、ResourceManager】，不然会包如下错误：Exception in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YA
Spark源码系列（七）Sparkonyarn具体实现
01-30
本来不打算写的了，但是真的是闲来无事，整天看美剧也没啥意思。这一章打算讲一下Spark onyarn的实现，1.0.0里面...在第一章《spark-submit提交作业过程》的时候，我们讲过Sparkonyarn的在cluster模式下它的main clas
Spark实验：On Yarn模式安装部署（带答案）1
08-03
Spark on Yarn是一种将Spark应用程序部署在Hadoop YARN资源管理器上的方法，它允许Spark充分利用YARN的资源管理和调度功能。在这个实验中，我们将详细探讨如何在Yarn模式下安装和部署Spark集群。 首先，我们需要...
Spark on Yarn模式的电信大数据处理平台.pdf
08-15
此时，Yarn（Yet Another Resource Negotiator）出现了，它是Hadoop 2.0中引入的新资源管理框架，进一步优化了资源管理和任务调度，而Spark on Yarn模式则充分利用了Yarn的资源调度能力和Spark内存计算的优势，显著...
Spark on Yarn模式部署.docx
10-03
Spark on Yarn 模式部署是一种常见的 Spark 应用场景，本文将详细介绍 Spark on Yarn 模式部署的步骤和配置过程。 标题解释 Spark on Yarn 模式部署是指将 Spark 应用程序部署在 Yarn 集群上，使得 Spark 能够使用 ...
【spark】【在YARN上运行Spark】【Running Spark on YARN】
最新发布
wq6qeg88的博客
02-17 874
通常情况下，这并不重要，因为Spark在开始另一个阶段之前完成了一个阶段，唯一可能有影响的情况是在作业服务器类型的场景中，所以需要记住这一点。例如，当运行一个YARN集群，其中运行多个Spark版本的应用程序的混合工作负载时，这可能很有帮助，因为给定版本的shuffle服务并不总是与其他版本的Spark兼容。Spark发行版，由于它已经包含了内置的Hadoop运行时，默认情况下，当作业提交到Hadoop Yarn集群时，为了防止jar冲突，它不会将Yarn的classpath填充到Spark中。
HIVE JDBC连接详解
jethai的博客
08-28 9781
package org.conan.myhadoop.mr; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; public class HiveJDBCCon
flume+kafka+hdfs详解
jethai的博客
08-28 4822
flume架构图650) this.width=650;" src="http://s3.51cto.com/wyfs02/M00/74/0A/wKiom1YPrdjguqxiAAJR5GnVzeg068.jpg" title="课时23：实战案例_flume和kafka安装.avi_20151003_183018.077.jpg" alt="wKiom1YPrdjguqxiAAJR5GnVzeg
hive内置函数详解(分析函数、窗口函数)
jethai的博客
08-28 3929
650) this.width=650;" src="http://s3.51cto.com/wyfs02/M00/75/97/wKioL1Y9oZiAkspGAAMsRcKYMDs505.jpg" title="捕获.PNG" alt="wKioL1Y9oZiAkspGAAMsRcKYMDs505.jpg" />cli命令show functions;desc function concat;d
MapReduce核心map reduce shuffle （spill sort partition merge）详解
jethai的博客
08-28 3775
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。Shuffle的正常意思是洗牌或弄乱，可能大家更熟悉的是Java API里Collections.shuffle(List)方法，它会随机地打乱参数list里的元素顺序。如果你不知道MapReduce里 Shuffle是什么，那么请看这张图：650) this.wi
storm-kafka（storm spout作为kafka的消费端）
jethai的博客
08-28 3715
storm是grovvy写的kafka是scala写的storm-kafka  storm连接kafka consumer的插件下载地址：https://github.com/wurstmeister/storm-kafka-0.8-plus除了需要storm和kafka相关jar包还需要google-collections-1.0.jar以及zookeeper相关包 curator-framew
Oozie的web界面安装、配置和运行（CDH环境）
jethai的博客
08-28 3240
1 问题描述和原因分析从cloudera manager界面进入Oozie的web界面的时候出现下面的错误650) this.width=650;" title="捕获.PNG" alt="wKioL1VMkkvBIPU8AAEQAHfhIZc456.jpg" src="http://s3.51cto.com/wyfs02/M02/6C/94/wKioL1VMkkvBIPU8AAEQAHfhIZc
hadoop新特性通过NFSv3挂载HDFS到本地目录
jethai的博客
08-28 2993
原理NFS允许用户像访问本地文件系统一样访问远程文件系统，而将NFS引入HDFS后，用户可像读写本地文件一样读写HDFS上的文件，大大简化了HDFS使用，这是通过引入一个NFS gateway服务实现的，该服务能将NFS协议转换为HDFS访问协议，具体如下图所示。650) this.width=650;" title="捕获.PNG" alt="wKiom1VPeNOytasGAADVSLPdFk
文本挖掘分词mapreduce化
jethai的博客
08-28 1812
软件版本paoding-analysis3.0650) this.width=650;" src="http://s2.51cto.com/wyfs02/M00/76/04/wKiom1ZIMLnSpXvwAABoYgiZJjY303.png" title="捕获.PNG" alt="wKiom1ZIMLnSpXvwAABoYgiZJjY303.png" />项目jar包和拷贝庖丁dic目录到项目
Hive 混合函数 UDTF UDF UDAF详解
jethai的博客
08-28 1633
混合函数可以使用java中的方法java_method(class,method[,arg1[,arg2...]])或者reflectHive版本1.2.1UDTF 用户定义表函数(表函数）一行变成多行配合lateral viewhive的Lateral viewhttp://blog.sina.com.cn/s/blog_7e04e0d00101csic.htmlUDF 重写evaluate方法
spark on yarn
07-27
Spark on YARN是一种常用的Spark运行模式，它可以在Hadoop YARN集群上运行。Spark on YARN支持两种提交任务的方式，即YARN client模式和YARN cluster模式。在YARN client模式下，Spark驱动程序运行在客户端上，而在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值