Spark-shell和Spark-submit

于 2022-02-07 09:56:48 发布
阅读量358 收藏 1
点赞数
分类专栏： Spark计算引擎 文章标签： spark intellij-idea scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/feizuiku0116/article/details/122804726
版权

Spark支持多种集群管理器（Cluster Manager）,取决于传递给SparkContext的MASTER环境变量的值：local、spark、yarn，区别如下：

在这里插入图片描述

一、Spark-shell

  • 引入：之前我们使用提交任务都是使用spark-shell提交，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下可以用scala编写spark程序，适合学习测试时使用！
  • 实例：spark-shell可以携带参数
    • spark-shell --master local[N] 数字N表示在本地模拟N个线程来运行当前任务
    • spark-shell --master local[*] 表示使用当前机器上所有可用的资源
    • 默认不携带参数就是–master local[*]
    • spark-shell --master spark://node01:7077,node02:7077 表示运行在集群上

二、spark-submit

  • 引入：spark-shell交互式编程确实很方便我们进行学习测试，但是在实际中我们一般是使用IDEA开发Spark应用程序打成jar包交给Spark集群/YARN去执行，所以我们还得学习一个spark-submit命令用来帮我们提交jar包给spark集群/YARN。spark-submit命令是我们开发时常用的!!!

  • 实

最低0.47元/天 解锁文章
飞Link
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【大数据入门核心技术-Spark】（七）执行Spark任务的两种方式:spark-submit和spark-shell
03-17 1886
引入：spark-shell交互式编程确实很方便我们进行学习测试，但是在实际中我们一般是使用IDEA开发Spark应用程序打成jar包交给Spark集群/YARN去执行，所以我们还得学习一个spark-submit命令用来帮我们提交jar包给spark集群/YARN。引入：之前我们使用提交任务都是使用spark-shell提交，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下可以用scala编写spark程序，适合学习测试时使用！
启动spark-shell或执行spark-submit失败的问题
u014005893的博客
09-11 3828
启动spark-shell或执行spark-submit失败的问题 楼主搭建了一套CDH大数据平台，其中包括Spark2服务，近来在终端启动spark-shell以及利用spark-submit提交任务时，分别报以下错误： [root@cdh0 ~]# spark-shell Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream at org.apac
spark-submit 与 spark-shell 介绍
a1786742005的博客
03-15 1999
一、spark-submit 介绍 1、spark-submit 介绍 程序一旦打包好，就可以使用 bin/spark-submit 脚本启动应用了。这个脚本负责设置 spark 使用的 classpath 和依赖，支持不同类型的集群管理器和发布模式。 2、运行方式 ./bin/spark-submit \ --class <main-class> --master <m...
Spark-Shell 及 Spark-Submit
半吊子Kyle的博客
08-17 1346
Spark-Shell 及 Spark-SubmitSpark-Shell说明操作命令Spark-Submit说明操作命令常用参数示例 Spark-Shell 说明 spark-shell 是 Spark 自带的交互式 Shell 程序，方便用户进行交互式编程，用户可以在该命令行下可以用 scala 编写 spark 程序，适合学习测试时使用 操作命令 # 直接启动，默认 --master local[*] spark-shell # 在本地模拟 N 个线程来运行当前任务 spark-shell --ma
Spark Shell & Spark submit
a45691316的博客
05-12 108
Spark Shell & Spark submit Spark 的 shell 是一个强大的交互式数据分析工具。 1. 搭建Spark 2. 两个目录下面有可执行文件： bin包含spark-shell 和 spark-submit sbin...
spark shell初识
以梦为马——书到今生读已迟
10-29 427
1、入门 启动hadoop、spark,用到的端口：50070,8088,8080,4040等，不一而定。 进入spark shell:MASTER=spark://172.20.0.204:7077 ./spark-shell 查看目录：hadoop fs -ls /
spark-shell && spark-submit
weixin_40420525的博客
12-20 769
在spark bin目录下有 spark-shell和spark-submit 两个脚本,通过 --help 看出来,基本参数都是一样的,那么这两个脚本有什么联系呢? 我们运行spark-shell 的时候,我们在web ui 界面中 可以看出来 应用程序名为 Spark shell ,带着诸多疑惑,我们来看下 spark-shell和spark-submit 两个脚本的具体内容 spark-sh...
spark-submit
github_28583061的博客
06-01 106
org.apache.spark.deploy.SparkSubmit执行流程 SparkSubmit#doSubmit // 解析参数并做参数验证， val appArgs = parseArguments(args) submit(appArgs, uninitLog) //SparkSubmit#submit // 环境准备 // childMainClass: org.apache.s...
修改Spark-shell日志打印级别并使用Spark-shell和Spark-submit提交Sparkstream程序
zhaoguowei的博客
11-20 1653
1. 修改Spark-shell日志打印级别 如果觉得 shell 中输出的日志信息过多而使人分心，可以调整日志的级别来控制输出的信息量。你需要在 conf 目录下创建一个名为 log4j.properties 的文件来管理日志设置。Spark开发者们已经在 Spark 中加入了一个日志设置文件的模版，叫作 log4j.properties.template。 要让日志看起来不那么啰嗦，可以先把这...
Spark之【运行模式、环境搭建】
weixin_45666566的博客
01-16 1017
运行模式1、 Local模式1.1 环境搭建1.2 启动spark-shell1.3 读取文件1.4 应用场景1.2、Spark Standalone模式1.2 启动Local模式 \quad \quadSpark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，也提供了多种多样的集群运行模式。部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、Spark on
1、Spark学习：spark-shell和spark-submit的区别及各自工作
java___boy的博客
09-25 1259
一、异同 1、相同点：放置的位置都在/spark/bin目录下面 2、不同点： （1）、spark-shell本身是交互式的，dos界面上会提供一种类似于IDE的开发环境，开发人员可以在上面进行编程。在运行时，会调用底层的spark-submit方法进行执行。 （2）、spark-submit本身不是交互性的，用于提交在IDEA等编辑器中编译并打...
Spark-Spark-shell与spark-submit的区别
文文x的博客
06-08 495
1.两个命令的区别 2.可以携带哪些参数 #查看参数 ./sprk-shell --help ./sprk-submit --help sprk-shell spark-submit
spak-submit提交参数
王猛的博客
01-29 468
spark-submit参数说明 参数名 格式 参数说明 –master MASTER_URL spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local –deploy-mode DEPLOY_MODE Client或者master，默认是client –class CLASS_...
Spark-core：执行Spark任务的两个工具：spark-submit与spark-shell
Movle
05-17 368
1.spark-submit:用于提交Spark任务 (1)举例：spark 自带的实例程序。 /opt/module/spark-2.1.0-bin-hadoop2.7/examples/jars中有Spark自带的实例程序。 蒙特卡洛求PI（圆周率） cd /opt/module/spark-2.1.0-bin-hadoop2.7 bin/spark-submit --master spark://hadoop1:7077 --class org.apache.spark.examples.Spark
使用spark-submit 提交第一个 spark 应用到集群中 & 使用 spark-shell 接口 运行spark 程序
乔二爷
03-13 1040
1 提交第一个spark 应用到集群中运行 语法： ./bin/spark-submit \ --class &amp;lt;main-class&amp;gt; \ --master &amp;lt;master-url&amp;gt; \ --deploy-mode &amp;lt;deploy-mode&amp;gt; \ --conf &amp;lt;key&amp;gt;=&amp;lt;value&a
shell执行spark-submit
风吴痕的博客
09-29 2104
#!/bin/bash # chmod +x ./test.sh 修改权限 num=0 while(($num<2181)) do spark-submit \ --master yarn \ --deploy-mode cluster \ --queue default \ --num-executors 45 \ --executor-memory 2G \ --driver-me
other: Spark-shell和Spark-submit提交程序的区别
Hipparchus的博客
05-20 6391
Spark-shell和Spark-submit提交程序的区别
Spark交互式工具spark-shell
weixin_34128501的博客
03-29 368
      REPL Read-Eval-Print-Loop，即交互式shell，以交互式方式来编程         Spark REPL $SPARK_HOME/bin/spark-shell(scala) $SPARK_HOME/bin/pyspark(python) 其他       Spark shell Spark的scala REPL，支持使用sca...
spark之spark任务的提交方式【spark-shell、spark-submit】
最新发布
06-28
回答1：</h3><br/>Spark任务可以通过两种方式进行提交：spark-shell和spark-submit。 1. spark-shell：是Spark提供的交互式命令行工具，可以在命令行中直接输入Spark代码进行交互式计算。在spark-shell中提交任务，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值