saprk submit 无法执行HDFS上的jar

最新推荐文章于 2023-01-04 14:49:55 发布
最新推荐文章于 2023-01-04 14:49:55 发布
阅读量5.3k 收藏 5
点赞数 3
分类专栏： 大数据相关
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengwenfa159/article/details/80206743
版权

突发奇想的第一篇博文！（其实最主要的新买的键盘，想打字=-=）

还不知道写点神马呐，但在技术论坛，光发感想的话，是不是有点违和。

而且好久不写东西，感觉自己一肚子话，无从说起。。。想当年我也是偏偏作文当范文，还喜欢舞文弄墨的伪文青啊！

就写写这两天刚刚遇到的一个小坑吧


我的spark是standalone集群方式

使用spark submit命令发布spark任务时，把jar放到本地的可以正常执行；命令：

saprk-submit --class SparkStreamingDemo --master local[8]  
最低0.47元/天 解锁文章
谁在呼唤敌法师
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark-submit提交jar包的一些问题
qq_43460041的博客
09-14 810
1.代码 object ScalaWordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf() conf.setAppName("ScalaWordCount") val sc = new SparkContext(conf) val lineRDD = sc.textFile(args(0)) val wordRDD = lineRDD.flatMap {_.spli
Spark-submit 提交jar包操作hdfs上的文件完成WordCount功能(有打jar包过程)
Mr_Bright的博客
11-13 2090
Spark-submit 提交jar包执行WordCount功能1. word.txt文件内容2. MAVEN依赖3. properties文件创建4. Scala代码5. 打jar包过程6. 开启Spark7. 执行jar包8. 结果在 hdfs上 查看结果文件 1. word.txt文件内容 hello world hello kb09 hello hehe 在hdfs上新建kb09file2文件夹 hdfs dfs -mkdir /kb09file2 将word.txt上传到hdfs hdfs
解决spark standalone模式 以cluster模式提交时找不到jar包问题
寻找手艺人的专栏
01-30 2674
原submit提交脚本： #!/bin/bash spark-submit \ --class com.jxre.bigdata.sparks.SumIrradiateCalc \ --master spark://node1.sdp.cn:7077 \ --driver-memory 3G \ --deploy-mode cluster \ --supervise \ -...
spark-submit时上传spark依赖到hdfs时间较长问题解决
数据之路
12-22 2269
spark-submit时，发现上传spark依赖到hdfs 时间长达数分钟，现象如下方截图： 这个日志之后在上传程序依赖的jar，根据不同网络负荷，需要耗时数十秒甚至数分钟，导致任务提交速度超级慢，在官网上查到出现这种现象的原因：https://spark.apache.org/docs/2.1.1/running-on-yarn.html 翻译过来就是： 要想在yarn spark...
Spark环境搭建
越开源越幸运
04-08 784
Table of Contents Spark 搭建spark 2.Scala2.12.2环境搭建： Spark部署 spark standalone spark on yarn模式 spark-submit 启动 Spark 在主节点jps查看查看进程 start-all.sh启动能够开启ResourceManager Jps 97505 Jps 96960 N...
spark-submit cluster模式时driver-class-path支持hdfs路径
04-23
spark官方版本的driver-class-path不支持hdfs路径，只支持本地路径。本资源解决了这个问题，driver-class-path在cluster模式时可以支持hdfs路径，解决了cluster模式driver有大量jar依赖的问题。
spark相关jar包
06-14
6. **Hadoop相关库**：Spark通常运行在Hadoop YARN或HDFS之上，因此需要Hadoop的相关jar包，如`hadoop-client.jar`、`hadoop-common.jar`、`hadoop-hdfs.jar`等。 7. **其他依赖**：根据项目需求，可能还需要包括...
spark_jar包
07-11
6. **提交作业**：通过spark-submit工具将Spark应用提交到集群执行。 对于初学者，理解Spark的基础概念和核心API是非常重要的，这包括RDD（弹性分布式数据集）、DataFrame/Dataset、SparkSQL以及Spark Streaming等...
spark-base:读取文件文本并将其从HDFS写入拼花文件
03-20
火花基读取文件文本并将其从HDFS写入拼花文件使用路径/ usr /...使用spark-submit运行jar文件： spark-submit --class main.Main --master local[2] target/<file>-V1.jar一个文件夹的pageviewlog在HDFS中诞生。使用cho
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
最新发布
08-28
综上所述，“spark-3.2.4-bin-hadoop3.2-scala2.13”安装包是构建和运行Spark应用程序的基础，涵盖了大数据处理、流处理、机器学习等多个领域，为开发者提供了高效、灵活的数据处理平台。通过深入理解和熟练运用，...
spark执行优化——依赖上传到HDFS二(-conf spark.yarn.dist.jars或者--jars 的使用)
OMars的博客
08-26 3300
1.说明 之前整理过一篇类似文章，但是这个spark.yarn.jar配置的目录最好只是放spark jars目录下的jar包，如果放入其他的jar包，很大概率会有冲突，而且如果项目比较多，jar包引入的内容版本不尽相同，也不太利于管理。题主这里有一个spark的分析项目，引入了很多依赖，如果只是配置了spark.yarn.jars,上传jar包的过程仍然很慢，所以还是需要把项目的依赖jar包上传到HDFS,经过查阅资料和翻查官网，发现了application-jar , --jars 都是即可以使用本地也
spark源码（一）spark-submit如何将jar以及配置参数提交给spark服务器
Interest1_wyt的博客
06-12 2946
spark-submit提交任务给spark服务器
Doris Spark Load 记录
weixin_39750695的博客
01-04 888
在使用 Apache Doris Spark Load 中遇到的问题记录，每个人的环境不同可能遇到的问题 不一样，记录一下希望能帮助到大家
spark执行优化--将依赖的jar包上传至hdfs上（spark3.1.1）
weixin_42934205的博客
10-26 3459
spark执行过程优化------将spark运行的jar包上传到HDFS上，避免在提交任务时因为spark程序包过大导致的占用运行时间和cpu资源 起因是在提交spark任务的时候，因为服务器处于离线状态，好多的依赖包无法通过网络进行下载，所以打成的spark程序包比较大，大概在200~300MB之间，每次通过spark-on-yarn提交任务时，总是有一段时间将本地的spark程序上传到hdfs，占用了太多的网络资源以及cpu。 所以，通过配置spark.yarn.archive和spark.yarn.
【spark on k8s】部署问题
echo245的博客
07-15 662
部署spark任务在Kubernetes上报错 使用官方案例部署失败 `21/07/14 02:19:14 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable Using Spark’s default log4j profile: org/apache/spark/log4j-defaults.properties
spark动态加载jar包
he329867402的专栏
08-25 1651
spark任务在执行过程中动态加载远程（hdfs）的jar包，并实例化对象进行逻辑处理。记录过程中遇到的类加载问题。 一、hdfs协议 在实现动态加载的过程中URLClassLoader需要支持hdfs协议，hadoop有现成的处理方式。通过调整UrlStreamHanderFactory来实现URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); 备注：需要添加hadoop相关的jar包 hadoop-common和hadoo
spark-sh xxx.jar命令报错Input path does not exist
qq_42639540的博客
04-25 635
报错：Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://master:9000/daas/motl/ods/od s_ddr/day_id=20180503 一：hdfs中确实没有这个文件，重新上传文件或修改路径即可 二：hdf...
spark在yarn上运行遇见的错误
安纳西丶小雨的博客
06-20 1713
Spark代码运行出错 19/06/19 22:29:26 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 19/06/19 22:29:30 INFO yarn.Client: Requ...
请详述Spark核心执行流程，如何使用SparkSubmit在客户端提交job后如何通过Standalone模式获取资源并执行Spark任务计算。
06-03
Spark核心执行流程如下： 1. 客户端通过SparkSubmit提交作业（Job）到Spark集群的Master节点。 2. Master节点接收到作业请求后，将作业分发到集群中的Worker节点上。Worker节点是真正执行计算任务的节点。 3. Worker节点根据作业中的指令，将数据从HDFS或其他数据源中读取到内存中，然后开始执行计算任务。 4. Worker节点将计算结果返回给Master节点，Master节点根据结果进行整合和输出。 使用SparkSubmit在客户端提交job后如何通过Standalone模式获取资源并执行Spark任务计算，具体步骤如下： 1. 编写Spark应用程序代码，并将其打包成JAR包。 2. 在客户端上使用SparkSubmit提交作业到Standalone模式的Master节点上。 3. Master节点接收到作业请求后，将作业分发到集群中的Worker节点上。 4. Worker节点根据作业中的指令，从HDFS或其他数据源中读取数据到内存中，开始执行计算任务。 5. Worker节点将计算结果返回给Master节点。 6. Master节点根据结果进行整合和输出。 在Standalone模式下，Worker节点会从Master节点获取资源（CPU和内存），然后使用这些资源执行计算任务。在SparkSubmit提交作业时，可以通过命令行参数指定资源需求和分配方式，例如： ``` ./bin/spark-submit \ --class com.example.MyApp \ --master spark://<master-ip>:7077 \ --deploy-mode client \ --executor-memory 2g \ --total-executor-cores 4 \ myApp.jar ``` 其中，--executor-memory指定每个Executor节点的内存大小，--total-executor-cores指定所有Executor节点的CPU核心数。这些参数会被Standalone模式的Master节点用来为Worker节点分配资源。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值