spark 提交jar包优化

最新推荐文章于 2023-05-21 13:51:31 发布
最新推荐文章于 2023-05-21 13:51:31 发布
阅读量699 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lm709409753/article/details/85250859
版权

1.原因

在测试中，使用livy去运行spark程序，采用代码片段的方式。但是应用在启动的时候，会把本地的jar文件上传到hdfs，然后再从hdfs分发到其它的运算节点，这个很影响性能。
可以在spark的配置文件spark-defaults.conf配置如下内容
在这里插入图片描述

2.配置之后，应用等待时间，明显降低。

第二个参数，主要是删除应用jar的缓存，防止应用过多，占用hdfs存储。
/user/{用户}/.sparkStaging 这个目录下，一般作为应用jar包的缓存目录.
下面除了标出的红线，都是livy的jar包
在这里插入图片描述
本地指定节点的jar包依赖。spark缓存使用的filecache.
在这里插入图片描述

减少spark job jar包的大小
xueba207的专栏
05-06 3006
利用java写spark job，工程结构为maven，每次生成的jar都比较大。 spark job 包过大带来以下缺点：打包时间长、jar包上传慢、job启动比较慢。 本文介绍jar包瘦身方法： 观察臃肿的jar包，发现大部分都是spark相关的jar比较大，因此打包时去掉即可。 首先，缓存spark-assembly 包到hdfs，方法见本文。 然后， 修改代码工程的pom文件，将spa
spark on yarn作业运行的jar包缓存优化
热门推荐
Amber_amber的专栏
12-22 1万+
这几天一直在追查spark on yarn的作业运行中的jar包分发，以及执行后的jar包删除的问题。从一开始的毫无头绪，到后来逐渐清晰，到后来通过hadoop的两个很简单的参数配置解决了问题。不得不说，虽然问题不大，对某些大牛们来说也真是小case，但是追查问题，定位问题到最终解决问题的过程，对我来说真是很不错的体验和学习过程。下面详细描述一下遇到的问题，以及解决的过程，给后面的同学一点参考。
spark执行优化--将依赖的jar包上传至hdfs上（spark3.1.1）
weixin_42934205的博客
10-26 3771
spark执行过程优化------将spark运行的jar包上传到HDFS上，避免在提交任务时因为spark程序包过大导致的占用运行时间和cpu资源 起因是在提交spark任务的时候，因为服务器处于离线状态，好多的依赖包无法通过网络进行下载，所以打成的spark程序包比较大，大概在200~300MB之间，每次通过spark-on-yarn提交任务时，总是有一段时间将本地的spark程序上传到hdfs，占用了太多的网络资源以及cpu。 所以，通过配置spark.yarn.archive和spark.yarn.
spark_jar包
07-11
spark 最新技术架包，具体说名请找度娘。知道的人可以下载
Spark应用程序第三方jar文件依赖解决方案
weixin_30532369的博客
11-21 593
第一种方式 操作：将第三方jar文件打包到最终形成的spark应用程序jar文件中 应用场景：第三方jar文件比较小，应用的地方比较少 第二种方式 操作：使用spark-submit提交命令的参数: --jars 要求： 1、使用spark-submit命令的机器上存在对应的jar文件 2、至于集群中其他机器上的服务需要该jar文件的时候，通过driver提供的一个http...
spark相关jar包
06-14
spark相关jar包
spark程序打jar包
youmianzhou的博客
11-15 696
spark代码要在集群上运行，需要先在idea上面打成jar包。 1.打包前需要把一些代码删除掉 package org.example import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("SparkRDDWordCount") // .se
spark-streaming 2.2.0 jar包
12-17
基于Scala2.11的spark-streaming 2.2.0 jar包，用于java开发
spark-assembly-1.5.2-hadoop2.6.0.jar
12-21
- 在集群环境中，提交Spark作业时，只需要提交这个包含了所有依赖的jar，大大简化了集群环境下的部署工作。 5. 关键功能模块： - Spark Core：提供了分布式任务调度、内存管理、错误恢复等基础功能，是其他所有...
spark集群版运行jar包
最新发布
m0_65548365的博客
05-21 849
默认以及按照好了Hadoop的环境和spark环境以及idea环境。这是上面代码中编写的输出路径。不进行此步骤的话在服务器运行会出错。表示主类入口，就是上图中的主类是。信息，等待几秒后即可关闭。，运行成功后出现红色的。
Spark缺少的jar包
10-04
Spark缺少的jar包
Maven编译Spark程序jar包体积大，上传时间长的完美解决方案
qq_42264264的博客
12-11 1524
Maven编译Spark程序jar包体积大，上传时间长的完美解决方案 问题 大家使用Maven编译Spark程序打包可能会遇到下边的情况： 打一个jar包花费长达3分钟的时间 一个jar包的体积200多MB，如果依赖多可能会更大 再加上公司这种佛系网络，只能喝喝茶，谈谈人生与理想了 解决方案 我们可以使用下列步骤来解决： 在HDFS创建一个目录来缓存程序依赖的jar包， 这里要注意权限问题...
spark依赖外部第三方jar包
为什么简介是必填项？
07-18 6209
一、摘要 由于项目需要搭建spark单独提交jar包运行，而spark提交jar包执行，需要依赖外部其他第三方jar包时候，官方给出的是在spark-submit命令上增加 --jars 参数去指定外部jar包，但是一个项目运行依赖的外部jar及其的多，此种方式肯定是不行的； 网上找的各种方式最终都没有效果，以下是本人所处理的结果； 二、当前运行环境 spark2.4.3 jdk1.8 s......
SparkStreming提交指定多个jar
liuwei0376的专栏
02-26 440
现状 有时候，程序打包时，为了简便，我们是将业务类及其第三方类库打到一个jar包中的，jar包命令以jar-with-dependencies后缀结尾，如： test-jar-with-dependencies.jar 一般在pom.xml中如如下方式配置，即可打包成这种形式。 <build> <sourceDirectory>src/main/scala</sourceDirectory> <plugins>
Spark程序如何打成、jar包如何提交应用【本地运行测试、jar包本地模式提交、jar包集群模式提交】
shuyv的博客
05-08 4617
文章目录基础环境准备基础配置Maven依赖基础案例演示应用提交应用提交语法jar包提交运行 基础环境准备 Hadoop 生态集群 Spark Standalone集群 IDEA 配置 基础配置 本文使用 IDEA 进行开发 首先注意的是目录结构，根据个人分组分类，目录清晰间接即可。本人建议命名、和结构可以仿造 Spark 官方所提供的样式。 由于 scala 的编程环境需要 Hadoop、Spark 集群上的配置文件信息，所以需要将资源文件导入到 resources 资源管理目录下。IDEA 功能强大，
spark引用jar包_Spark提交后都干了些什么？
weixin_39620151的博客
12-23 150
最近做了一个Spark小任务，在client模式下运行没问题，但是换了cluster模式就会出现一些第三方包找不到的问题。这是由于集群只在堡垒机中放了大部分的资源和jar包，而其他的如数据节点等节点中缺少这些包，因此需要将这些jar包也动态传到数据节点。如何使项目能够获取上传到hdfs的第三方依赖，这就需要了解spark任务提交后，第三方依赖包以及spark程序、环境配置等资源都到了哪里，然后又经...
关于spark利用jar包跑job的一些总结（一）
chengxue5yuan的专栏
08-31 1654
关于spark利用jar包跑job的一些总结（一）一、分别利用eclipse和IDEA打jar包用eclipse打包：用eclipse打包最终还是不能放在spark上用，如果是需要解决问题的，可以直接跳到IDEA部分，这里只介绍一些eclipse的过程，以及最后的问题（如果有能指出问题所在的小伙伴，求指导求教育）新建Scala工程 - 新建Scala Class - 编写代码：import org.
spark jar包_Spark提交后都干了些什么？
weixin_35741582的博客
01-29 241
最近做了一个Spark小任务，在client模式下运行没问题，但是换了cluster模式就会出现一些第三方包找不到的问题。这是由于集群只在堡垒机中放了大部分的资源和jar包，而其他的如数据节点等节点中缺少这些包，因此需要将这些jar包也动态传到数据节点。如何使项目能够获取上传到hdfs的第三方依赖，这就需要了解spark任务提交后，第三方依赖包以及spark程序、环境配置等资源都到了哪里，然后又经...
如何将spark程序打jar包并上传至本地集群环境运行
weixin_41765352的博客
12-28 5205
如何将spark程序打jar包，并上传至本地集群环境运行
Java通过Yarn提交Spark任务的详细配置教程
5. 依赖包管理：当Spark任务需要依赖外部的jar包时，需要在提交任务之前将这些jar包打包到一个大的jar中或者配置到类路径中。 6. 日志管理：了解如何配置和管理在YARN上执行的Spark作业的日志，这对于调试和监控...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值