Spark的多种运行方式（包括spark on yarn client&&cluster）

最新推荐文章于 2022-08-05 18:56:05 发布
最新推荐文章于 2022-08-05 18:56:05 发布
阅读量263 收藏
点赞数
分类专栏： Spark 文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_15300683/article/details/80063206
版权

1.localhost

        启动命令./spark-shell --master local[2] --jars /...

                      ./spark-submit --master local[2] --jars /...

        或者修改spark-defaults.conf文件，spark.master local[2],写死即可省略--master local[2]

               修改spark-defaults.conf文件，spark-executor.extraClassPath=/home/hadoop/jarsURL 

               spark.diver.extraClassPath=/home/hadoop/jarsURL,写死即可省略--jars /..

        通常我们工作中会根据不同的业务线做不同的spark-defaults.conf


        ./spark-submit --properties-file /spark-defaults.confURL

        bin/spark-submit --class com.ruzoe.spark.core.WordCount --master yarn /home/hadoop/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/sparktrain4.0.jar /home/hadoop/data/datafile.txt 

[root@hadoop spark-2.2.0-bin-2.6.0-cdh5.7.0]# bin/spark-submit --class com.ruzoe.spark.core.WordCount --master yarn /home/hadoop/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/sparktrain4.0.jar /home/hadoop/data/datafile.txt 


bin/spark-submit --class com.ruzoe.spark.core.WordCountZXC --master yarn --deploy-mode cluster /home/hadoop/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/sparktrain111.jar /datafile.txt 



2.standalone

        启动命令./spark-shell --master lcoal[2] --jars /...

3.Spark on YARN

        启动命令./spark-shell --master yarn/yarn-cluster --jars /...

4.Mesos

5.K8s


大米饭精灵
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark初始化源码阅读sparkonyarn的client和cluster区别
10-20
Spark 初始化源码阅读 Spark on YARN 的 Client 和 Cluster 区别 Spark 是一个大数据处理的开源框架，它可以在多种集群管理器上运行，如 YARN、Mesos 和 Standalone。Spark on YARN 是 Spark 在 YARN 集群管理器上...
spark on yarn配置
weixin_39182877的博客
03-14 1126
vi /usr/local/spark/conf/spark-env.shexport JAVA_HOME=/usr/java/jdk1.8.0_162日志需要更详细cp log4j.properties.template log4j.propertieslog4j.rootCategory=INFO, console => log4j.rootCategory=DEBUG, console...
【Spark】Spark运行在YARN上
晚风中的自由
11-26 1136
Spark on YARN 步骤： 1）客户端提交应用程序给resourcemanager； 2）resourcemanager为应用分配 spark application master； 3）sparkapplication master 向resourcemanager 申请资源 container，container可以用于运行executor 4）resourcemanag...
Spark的四种运行模式详解
qq_37163925的博客
05-22 9092
前言 Spark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，提供了多种多样的集群运行模式。部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、Spark on YARN模式或者Spark on mesos模式。Spark的各种运行模式虽然在启动方式、运行位置、调度策略上各有不同，但它们的目的基本都是一致的，就是在合适的位置安全可靠的根据用户的配置和Job的需
Spring源码学习笔记：Spring设计模式对比和Spring的OOB，BOP，AOP，IOC，DI/DL
Jarvis.y的博客
09-25 653
1、GOF 23总设计模式归纳 分类 设计模式 创建型 工厂方法模式（Factory Method）、抽象工厂模式（Abstract Factory）、 建造者模式（Builder）、原型模式（Prototype）、单例模式（Singleton） 结构型 适配器模式(Adapter)、桥接模式（Bridge）、组合模式（Composite）、 装饰器模式（Decorator）、门面模式（Facade）、享元模式（Flyweight）、 代理模式（Proxy） 行为型 解释器模式（In
Spark的三种运行模式
u011135852的博客
07-08 1907
总结：不管什么运行模式，代码不用改变，只需要在spark-submit脚本提交时 通过--master xxx 来设置你的运行模式即可 1、local模式：本地运行，使用该模式做开发,使用local模式的话，只需要把spark的安装包解压开，什么都不用动，就能使用 ./spark-submit \ --class Charpter5.DataSourceApp \ --master local \ --name DataSourceApp \ --jars /home/keyan/maven_repo.
Spark环境搭建——on yarn集群模式
01-07
本篇博客，Alice为大家带来关于...注意：不需要集群，因为把Spark程序提交给YARN运行本质上是把字节码给YARN集群上的JVM运行，但是得有一个东西帮我去把任务提交上个YARN，所以需要一个单机版的Spark，里面的有spark-sh
Spark&Yarn手动安装指南
02-16
Spark on Yarn是指在Yarn集群中运行Spark应用程序。下面是Spark on Yarn的配置步骤： 1. 修改配置文件：修改spark-defaults.conf和spark-env.sh文件，配置Spark的参数。 2. 提交Spark任务：使用spark-submit命令...
Spark的Yarn模式
01-20
在Yarn模式下，Spark有两种运行模式：`yarn-client`和`yarn-cluster`。 1. `yarn-client`模式：在这种模式下，Driver程序运行在提交任务的客户端上，通常是一个交互式的终端或开发环境。客户端负责与YARN的...
【Spark内核篇02】Spark模式运行机制1
08-04
在Spark内核篇02中，我们主要讨论了Spark在三种不同模式下的运行机制：Yarn模式、Yarn-Client模式和Standalone模式，包括这两种运行模式下的Cluster和Client模式。 首先，我们来看Yarn模式的运行流程： 1. 用户通过...
Spark On YARN启动流程源码分析（一）
tangguoxing000的博客
01-17 327
参考原文地址：https://www.cnblogs.com/yy3b2007com/p/10934090.html 该篇章主要讲解执行spark-submit.sh提交到将任务提交给Yarn阶段代码分析。 spark源码对应的spark版本为2.12 一、spark-submit的入口函数 一般提交一个spark作业的方式采用spark-submit来提交 # Run on a Spark standalone cluster ./bin/spark-submit \ --class or
Spark源码2.4.0（二）-- on yarn启动
sinat_26781639的博客
01-30 270
spark提交有 三种模式 看下其中的 on yarn cluster： 一、在sparksubmit这个类中启动时回去初始化运行环境（prepareSubmitEnvironment） private def submit(args: SparkSubmitArguments, uninitLog: Boolean): Unit = { // 环境相关，部署模式提交模式 va...
Spark On YARN启动流程源码分析
A Vimer's World
05-06 3195
1. Spark On Yarn启动 ApplicationMaster; 2. Sparn On Yarn启动 Executor; 3. Spark On Yarn真实运行Driver/ApplicationMaster/Exector日志；
Spark On Yarn 运行项目
vincent_duan的专栏
04-07 506
在spark中，支持4中运行模式： Local：往往使用本地开发的时候使用。 StandAlone：是spark自带的，如果一个集群是StandAlone模式的话，那么就需要在多台机器上同时部署Spark环境。缺点是改一个机器的配置，其余所有机器的配置都需要同步才生效。 YARN：推荐使用YARN，统一使用YARN进行整个集群作业(MR、Spark)的资源调度。 Mesos 不管使用什么模式，...
详解Spark运行模式（local+standalone+yarn）
大数据
06-30 4811
Spark 有多种运行模式：1.可以运行在一台机器上，称为 Local（本地）运行模式。 2.可以使用 Spark 自带的资源调度系统，称为 Standalone 模式。 3.可以使用 Yarn、Mesos、Kubernetes 作为底层资源调度系统，称为 Spark On Yarn、Spark On Mesos、Spark On K8S。 Driver 是 Spark 中的主控进程，负责执行应用程序的 main() 方法，创建 SparkContext 对象，负责与 Spark 集群进行
Spark启动命令总结简介
A210810的博客
08-16 4655
**本地启动** （安装本地后的启动Spark启动命令） bin/spark-submit –class org.apache.spark.examples.SparkPi –executor-memory 1G –total-executor-cores 2 ./examples/jars/spark-examples_2.11-2.1.1.jar 100 启动spark-shell启动之后是一个Scala程序 bin/spark-shll 启动Master主节点命令 sbin/start-a
Spark基础【五种运行模式】
weixin_43923463的博客
08-05 3939
这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。在自己学习时，每次都需要启动虚拟机，启动集群，这是一个比较繁琐的过程，并且会占大量的系统资源，导致系统执行变慢，不仅仅影响学习效果，也影响学习进度，Spark非常暖心地提供了可以在windows系统下启动本地集群的方式，这样，在不使用虚拟机的情况下，也能学习Spark的基本使用。所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等，之前在IDEA中运行代码的环境称之为开发环境，不太一样。..
Spark on Yarn 详解（转）
博客
10-13 689
1、spark on yarn有两种模式，一种是cluster模式，一种是client模式。 a.执行命令“./spark-shell --master yarn”默认运行的是client模式。 b.执行"./spark-shell --master yarn-client"或者"./spark-shell --master yarn --deploy-mode client"运行的也是clien...
Spark on YARN cluster & client 模式作业运行全过程分析
liuwei0376的专栏
11-26 6878
原文链接：https://www.iteblog.com/archives/1189.html，致谢 下面是分析Spark on YARN的Cluster模式，从用户提交作业到作业运行结束整个运行期间的过程分析。 客户端进行操作 　　1、根据yarnConf来初始化yarnClient，并启动yarnClient 　　2、创建客户端Application，并获取Applicat
sparkstreaming读写kerberos kafka（yarn client、yarn cluster）
最新发布
03-16
在YARN Client模式下，Spark Streaming应用程序运行在客户端机器上，而不是YARN集群中。因此，需要在客户端机器上配置Kerberos认证，并且需要将Kafka的Kerberos认证配置文件放置在客户端机器上。然后，可以使用以下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值