spark-submit local本地运行问题

最新推荐文章于 2025-04-30 15:17:23 发布
原创 最新推荐文章于 2025-04-30 15:17:23 发布
· 1w 阅读 · 5 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #spark-submit

博主在使用spark-submit运行本地(local)模式时遇到问题，原本应写入Linux目录的输出结果意外写入了HDFS。在其他slave节点上运行local模式则正常。问题在于目录指定与实际写入路径不一致，删除HDFS目录后，输出仍不在Linux目录，而是在HDFS。检查代码和配置后，发现其他slave节点能够正确执行并将结果写入Linux目录。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

求大神解答，或者我们来讨论下！今天碰到一个很奇怪的问题，关于spark-submit 三种运行模式：

（1）本地local模式

（2）在Hadoop YARN-client模式

（3）Standalone Cluster模式

  1  问题描述

      首先说明一下我的集群，一个master节点和两个slave节点，slave1和slave2。

       我一直在master节点上练习spark-submit三种模式。运行的列子就是统计单词的个数。

       首先我运行的spark-submit的local模式，可以成功，并且成功的写入了Linux下制定的输出目录，然后在Hadoop YARN-client模式下运行，成功的写入了HDFS目录下，最后在Stand alone Cluster模式下也成功运行，但是问题来了，我再次在master节点上运行本地模式，输出的结果写到了HDFS下，我明明制定了本地运行模式，而且代码里写的输出路径为Linux路径，不是HDFS路径，

最低0.47元/天 解锁文章
spark 在本地模式提交spark-submit报错Name node is in safe mode
一只大数据专业的傻猪猪
03-11 2066
问题描述 运行过程中报错显示： 原因分析： 根据报错显示，可以发现报错内容显示的是：名称节点处于安全模式。安全模式下不可以实现增删改操作。 当块的数量低于阀值，datanode启动数量不够都会进入安全模式。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入 安全模式。 解决方案： hadoop为了防止数据丢失，启动了“安全模式”的设置，我们只需要关闭安全模式即可。 ...
【spark-submit】【spark】
wq6qeg88的博客
02-17 1058
如果您的代码依赖于其他项目，则需要将它们与应用程序一起打包，以便将代码分发到Spark集群。一旦你有了一个组装好的jar，你就可以在传递你的jar的时候调用这里所示的。它可以通过统一的接口使用所有Spark支持的集群管理器，因此您不必为每个集群管理器配置应用程序。†一个常见的部署策略是从与工作机器物理上位于同一位置的网关机器（例如独立EC2集群中的主节点）提交应用程序。或者，如果您的应用程序是从远离工作机器的机器提交的（例如，在您的笔记本电脑上本地），通常使用。有几个选项是特定于正在使用的集群管理器的。
spark源码阅读-spark-submit任务提交流程(local模式)
qq_42345486的博客
03-27 1687
从spark启动任务源头 $SPARK_HOME/bin/spark-submit 开始阅读spark源码。 一、脚本阶段 提交任务命令，先使用local模式 spark-submit --master local --class com.lof.main.SparkPi /Users/user/Desktop/SparkPi.jar sparkPi代码： public class SparkP...
spark local模式
最新发布
a1237564537的博客
04-30 530
Spark Local 模式是一种在单台机器上运行 Spark 应用程序的模式，无需搭建分布式集群，适合开发调试、学习以及运行小规模数据处理任务。
spark-submit --master local 命令说明
多头注意力探索Now
06-24 839
spark local运行
Spark运行模式 local 模式
翁老师的教学团队
05-17 874
Spark 运行环境 Spark 作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分别看看不同环境下Spark 的运行 3.1Local 模式 想啥呢，你之前一直在使用的模式可不是 Local 模式哟。所谓的Local 模式，就是不需要其他任何节点资源就可以在本地执行 Spark 代码的环境，一般用于教学，调试，演示等， 之前在 IDEA 中运行代码的环境我们称之为开发环境，不太一样。 3.1.1解压缩文
Spark编程,Spark-shell使用方法,Spark-submit运行模式
weixin_46235157的博客
03-20 620
1.第一个Spark程序:WordCount 第一步:创建sparkContext setMaster:运行模式 setAppName:设置appName val sparkConf = new SparkConf().setMaster("local").setAppName("SparkWordCountApp") val sc = new SparkContext(sparkC...
Spark-shell和Spark-submit
feizuiku0116的博客
02-07 488
Spark支持多种集群管理器（Cluster Manager）,取决于传递给SparkContext的MASTER环境变量的值：local、spark、yarn，区别如下： 一、Spark-shell 引入：之前我们使用提交任务都是使用spark-shell提交，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下可以用scala编写spark程序，适合学习测试时使用！ 实例：spark-shell可以携带参数 spark-shell --mast
spark运行python脚本_spark-submit提交python脚本过程记录
weixin_39982269的博客
12-09 1674
最近刚学习spark，用spark-submit命令提交一个python脚本，一开始老报错，所以打算好好整理一下用spark-submit命令提交python脚本的过程。先看一下spark-submit的可选参数1.spark-submit参数--masterMASTER_URL:设置集群的主URL，用于决定任务提交到何处执行。常见的选项有local:提交到本地服务器执行，并分配单个线程loca...
搞懂spark-submit参数及应用程序提交（详细）
大柳的博客
12-31 1万+
介绍 当前支持三种集群管理器： Spark独立集群管理器，一种简单的Spark集群管理器，很容易建立集群，基于Spark自己的Master-Worker集群 Apache Mesos，一种能够运行Haoop MapReduce和服务应用的集群管理器 Hadoop YARN，Spark可以和Hadoop集成，利用Yarn进行资源调度 如果在集群中仅有Spark程序，那么可以使用Spark独立的集群管理器。如果有其他的mapreduce程序，那么需要使用Yarn或者Mesos管理
spark-submit 命令使用详解
qq_35224503的博客
02-20 2875
sumbmit
124、Spark核心编程进阶之local模式提交spark作业
ZJ__ZFH的博客
01-16 1654
spark作业运行集群，有两种部署方式，一种是Spark Standalone集群，还有一种是YARN集群+Spark客户端 所以，我们认为，提交spark作业的两种主要方式，就是Spark Standalone和YARN，这两种方式，分别还分为两种模式，分别是client mode和cluster mode 在介绍standalone提交模式之前，先介绍一种Spark中最基本的一种提交模式 也就...
Spark打包成jar在shell能成功，但以spark-submit却运行失败
qq_43719388的博客
10-28 1702
有的错误确实很莫名其妙 2020-10-28 15:13:21,199 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(root); groups with view permissions: Set(); users with modify permissions: Set(root); groups with
Spark程序如何打成、jar包如何提交应用【本地运行测试、jar包本地模式提交、jar包集群模式提交】
shuyv的博客
05-08 4822
文章目录基础环境准备基础配置Maven依赖基础案例演示应用提交应用提交语法jar包提交运行 基础环境准备 Hadoop 生态集群 Spark Standalone集群 IDEA 配置 基础配置 本文使用 IDEA 进行开发 首先注意的是目录结构，根据个人分组分类，目录清晰间接即可。本人建议命名、和结构可以仿造 Spark 官方所提供的样式。 由于 scala 的编程环境需要 Hadoop、Spark 集群上的配置文件信息，所以需要将资源文件导入到 resources 资源管理目录下。IDEA 功能强大，
【Spark】spark-submit作业提交及参数设定
热门推荐
发现问题，并解决问题，批判性思维
10-29 1万+
随着 application 的增加，需要不断安装新的包，而且不同 application 可能存在版本问题，这对于 client 模式来说或许还可以接受，但 cluster 模式肯定不行的，如果集群很大，装环境会很麻烦。在 client 模式下，Driver 就找在 Client 端，可以把 client 端的资源分发，而 cluster 模式下，Driver 可在集群任一节点，该节点是没有资源的。client：在客户端上启动driver，这样逻辑运算在client上执行，任务执行在cluster上。
spark-submit
m0_37055484的博客
02-01 269
spark-submit参数详解
Spark学习（2）-Spark环境搭建-Local
一个人的江湖
07-27 649
注意Local模式只能运行一个Spark程序,如果执行多个Spark程序,那就是由多个相互独立的Local进程在执行。打开监控页面后,可以发现在程序内仅有一个Driver，因为我们是Local模式,Driver即管理又干活。的Python解释器环境,在这里面可以写普通python代码,以及spark代码。不同的是,这个解释器环境运行的不是python代码,而是scala程序代码。Spark程序在运行的时候,会绑定到机器的。在这个环境内,可以运行spark代码。...
Spark部署模式与作业提交
mxk4869的博客
07-18 440
Spark部署模式与作业提交
Spark-submit脚本说明
quanquan_2012的博客
07-06 1735
    在spark开发中会遇到spark-submit脚本的编写，作为小白的我就在这里对spark-submit进行简单的说明。    vi wordcount.sh        /usr/local/spark/bin/spark-submit \        --class cn.spark.study.core.wordCountCluster \        --num-execu...
spark spark-submit 运行程序
03-13
### 使用 `spark-submit` 运行 Spark 应用程序 #### 提交应用程序至集群 为了在Spark集群上运行应用程序，可以利用位于Spark安装目录下的`spark-submit`脚本[^3]。此工具不仅简化了向不同类型的集群管理器提交作业的过程，还提供了通过一致的方式处理各种环境的需求。 #### 命令结构 基本命令格式如下所示： ```bash ./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deploy-mode <deploy-mode> \ --conf <key>=<value> \ ... # other options <application-jar> \ [application-arguments] ``` 其中， - `<main-class>` 是指定了包含`main()`函数的应用入口类名； - `<master-url>` 定义了要连接的Master节点URL（例如：local, spark://host:port, mesos://host:port, yarn等）； - `<deploy-mode>` 可选参数指定部署模式为client或者cluster，默认是client模式，在这种情况下driver将在本地启动并由客户端进程控制；而在cluster模式下，则会在工作节点之一上创建一个新的JVM来作为Driver Program执行上下文； - `[application-arguments]` 表示传递给应用本身的额外参数列表。 #### 配置选项 除了上述必填项外，还可以设置一系列配置属性以优化性能或调整行为特性。这些可以通过`--conf key=value`的形式添加到命令行中去。比如内存分配、资源请求量以及日志级别等等都可以在此处定义。 #### 实际案例演示 假设有一个名为`example.jar`打包好的Scala/Java项目文件，并希望将其发送到YARN集群上去执行，那么完整的调用方式可能是这样的： ```bash $SPARK_HOME/bin/spark-submit \ --class org.example.MyApp \ --master yarn \ --deploy-mode cluster \ --executor-memory 2G \ --num-executors 50 \ example.jar arg1 arg2 ``` 这里设置了Executor使用的最大堆空间大小(`--executor-memory`)和期望获得的工作线程数量(`--num-executors`)，同时也指明了两个自定义参数`arg1`, `arg2`. #### 工作流解析 当发出以上指令之后，将会触发一系列内部操作，包括但不限于构建必要的classpath、准备运行时环境变量、初始化ClassLoader实例化所需对象直至最终调用`runMain`方法完成整个过程[^2].
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值