【大数据入门核心技术-Spark】（七）执行Spark任务的两种方式:spark-submit和spark-shell

已于 2023-03-17 23:37:24 修改 1171 收藏
分类专栏： 大数据技术入门到21天通关 文章标签： spark 大数据 scala big data flink Powered by 金山文档
于 2023-03-17 14:01:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/forest_long/article/details/129619421
版权
了解本专栏 订阅专栏 解锁全文 超级会员免费看
forest_long
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Spark之【运行模式、环境搭建】
weixin_45666566的博客
01-16 294
运行模式1、 Local模式1.1 环境搭建1.2 启动spark-shell1.3 读取文件1.4 应用场景1.2、Spark Standalone模式1.2 启动Local模式 \quad \quadSpark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，也提供了多种多样的集群运行模式。部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、Spark on
singlestore-spark-connector:MemSQL和Spark的连接器
05-14
SingleStore Spark连接器 版本：3.0.7 入门 您可以在Maven Central和spark-packages.org上找到连接器的最新版本。 该组是com.singlestore ，工件是singlestore-spark-connector_2.11 。 您可以使用以下命令将连接器添加到Spark应用程序：spark-shell，pyspark或spark-submit $SPARK_HOME/bin/spark-shell --packages com.singlestore:singlestore-spark-connector_2.11:3.0.7-spark-2.4.4 我们发布了两个版本的singlestore-spark-connector ，每个Spark版本一个。 示例版本号是： 3.0.7-spark-2.3.4 ，它是连接器的3.0.7版本
apache-spark-etl-pipeline-example：演示使用Apache Spark构建强大的ETL管道，同时利用开源通用集群计算的优势
02-06
Spark ETL 怎么跑 启动无业游民的虚拟机 vagrant up 在Vagrant VM中获取Bash Shell vagrant ssh 设置配置脚本权限（根据执行方式，您可能不需要这样做） sudo chmod +x /vagrant/config.sh 移至/ vagrant目录 cd /vagrant/config 执行配置 ./config.sh 安装Pyspark ./install_pyspark.sh 移至src目录 cd /vagrant/src 执行Spark应用 spark-submit --driver-class-path /vagrant/
Spark-submit提交任务，封装shell脚本，shell脚本创建HBase表，批量导hive表
最新发布
m0_46168848的博客
12-17 242
Spark-submit提交任务，封装shell脚本，shell脚本创建HBase表，批量导hive表
Spark-shell和Spark-submit
feizuiku0116的博客
02-07 177
Spark支持多种集群管理器（Cluster Manager）,取决于传递给SparkContext的MASTER环境变量的值：local、spark、yarn，区别如下： 一、Spark-shell 引入：之前我们使用提交任务都是使用spark-shell提交，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下可以用scala编写spark程序，适合学习测试时使用！ 实例：spark-shell可以携带参数 spark-shell --mast
Spark之Spark任务的提交方式【Spark-shell、Spark-submit】
weixin_45666566的博客
01-16 2529
spark-shell1、概述2、启动 1、概述 \quad \quadSpark-shell 是 Spark 给我们提供的交互式命令窗口(类似于 Scala 的 REPL) 2、启动 直接启动bin目录下的spark-shell: ./spark-shell <1>直接使用 ./spark-shell 表示使用local 模式启动，在本机启动一个SparkSubmit进程 <2>还可指定参数 --master，如： spark-shell --master local[
Spark-Shell 及 Spark-Submit
半吊子Kyle的博客
08-17 779
Spark-Shell 及 Spark-SubmitSpark-Shell说明操作命令Spark-Submit说明操作命令常用参数示例 Spark-Shell 说明 spark-shell 是 Spark 自带的交互式 Shell 程序，方便用户进行交互式编程，用户可以在该命令行下可以用 scala 编写 spark 程序，适合学习测试时使用 操作命令 # 直接启动，默认 --master local[*] spark-shell # 在本地模拟 N 个线程来运行当前任务 spark-shell --ma
Spark-core：执行Spark任务的两个工具：spark-submit与spark-shell
Movle
05-17 225
1.spark-submit:用于提交Spark任务 (1)举例：spark 自带的实例程序。 /opt/module/spark-2.1.0-bin-hadoop2.7/examples/jars中有Spark自带的实例程序。 蒙特卡洛求PI（圆周率） cd /opt/module/spark-2.1.0-bin-hadoop2.7 bin/spark-submit --master spark://hadoop1:7077 --class org.apache.spark.examples.Spark
大数据应用之 --- spark 3.2.1 集群安装部署
qq_41187116的博客
07-16 423
大数据应用之 --- spark3.2.1
启动spark-shell或执行spark-submit失败的问题
u014005893的博客
09-11 2938
启动spark-shell或执行spark-submit失败的问题 楼主搭建了一套CDH大数据平台，其中包括Spark2服务，近来在终端启动spark-shell以及利用spark-submit提交任务时，分别报以下错误： [root@cdh0 ~]# spark-shell Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream at org.apac
关于spark中spark-submit和spark-shell简介
mo
11-13 363
spark-submit： 1.它主要是用于提交编译并打包好的Jar包到集群环境中来运行，和hadoop中的hadoop jar命令很类似，hadoop jar是提交一个MR-task,而spark-submit是提交一个spark任务，这个脚本**可以设置Spark类路径（classpath）和应用程序依赖包，并且可以设置不同的Spark所支持的集群管理和部署模式。**相对于spark-shell来讲它不具有REPL(交互式的编程环境)的，在运行前需要指定应用的启动类，jar包路径,参数等内容。 2.基
你真的懂Spark吗？手把手带你解析Spark-Submit提交应用程序过程（Spark2.12）
LMR的博客
05-14 4211
前几篇博客详细解析了Spark的Job触发机制、Spark的DAGScheduler调度机制、Spark的TaskScheduler调度机制、Spark调度器的终端通信SchedulerBackend和Spark的Executor启动，在对这些源码进行分析之后，头脑中十分混乱，对于各个机制的具体执行过程不是十分了解。网上的各种分析博客也写得不是十分清晰，于是就开始了Spark任务提交流程的分析。本博客的Spark版本为2.12，是以Standalone Cluster部署模式为基础进行分析。 Spark.
spark-submit 与 spark-shell 介绍
a1786742005的博客
03-15 1614
一、spark-submit 介绍 1、spark-submit 介绍 程序一旦打包好，就可以使用 bin/spark-submit 脚本启动应用了。这个脚本负责设置 spark 使用的 classpath 和依赖，支持不同类型的集群管理器和发布模式。 2、运行方式 ./bin/spark-submit \ --class <main-class> --master <m...
子雨大数据之Spark入门教程---Spark的安装和使用sbt、maven打包代码 2.1
飘过的春风
02-23 4894
Spark可以独立安装使用，也可以和Hadoop一起安装使用。本教程中，我们采用和Hadoop一起安装使用，这样，就可以让Spark使用HDFS存取数据。需要说明的是，当安装好Spark以后，里面就自带了scala环境，不需要额外安装scala，因此，“Spark安装”这个部分的教程，假设读者的计算机上，没有安装Scala，也没有安装Java（当然了，如果已经安装Java和Scala，也没有关系，...
spark-shell && spark-submit
weixin_40420525的博客
12-20 592
在spark bin目录下有 spark-shell和spark-submit 两个脚本,通过 --help 看出来,基本参数都是一样的,那么这两个脚本有什么联系呢? 我们运行spark-shell 的时候,我们在web ui 界面中 可以看出来 应用程序名为 Spark shell ,带着诸多疑惑,我们来看下 spark-shell和spark-submit 两个脚本的具体内容 spark-sh...
Spark从入门到精通二----spark任务的提交方式spark-shell/spark-submit----------各种版本的wordcount
qq_824203453_的博客
09-19 3753
版权声明：本文为博主原创文章，未经博主允许不得转载!! 欢迎访问:https://blog.csdn.net/qq_21439395/article/details/82779266 交流QQ: 824203453   执行Spark程序 使用spark-shell命令和spark-submit命令来提交spark任务。 当执行测试程序，使用spark-shell，spark的交互式命...
30-Spark入门之Spark技术栈讲解、分区、系统架构、算子和任务提交方式
学习永不止步
07-19 812
Spark入门之Spark技术栈讲解、分区、系统架构、算子和任务提交方式
【Spark】spark-submit作业提交及参数设定
发现问题，并解决问题，批判性思维
10-29 5446
随着 application 的增加，需要不断安装新的包，而且不同 application 可能存在版本问题，这对于 client 模式来说或许还可以接受，但 cluster 模式肯定不行的，如果集群很大，装环境会很麻烦。在 client 模式下，Driver 就找在 Client 端，可以把 client 端的资源分发，而 cluster 模式下，Driver 可在集群任一节点，该节点是没有资源的。client：在客户端上启动driver，这样逻辑运算在client上执行，任务执行在cluster上。
大数据技术-Spark学习笔记
xiaoyixiao_的博客
04-16 2144
大数据技术-Spark学习笔记
大数据开发问题整理-Spark
duckySw的博客
01-05 690
2021秋季 PKU信科研究生课程《网络大数据管理理论与应用》共五次作业，其中包括三个Hadoop作业、一个Spark作业以及一个期末大作业。在做这些作业的过程中，遇到了一些环境问题和开发问题，其中一部分问题记录下了解决办法，在此整理一下做备忘之用。后续可能会把环境配置、新建项目和作业实现过程等也放上来。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

forest_long

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。

余额充值