spark任务运行及jar包

最新推荐文章于 2024-07-06 17:44:31 发布
最新推荐文章于 2024-07-06 17:44:31 发布
阅读量2.5k 收藏
点赞数
分类专栏： Spark 文章标签： spark spark-submit --jars 依赖
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xx7330842/article/details/52932798
版权

spark的jar包没必要把所有相关的依赖都打进一个jar包中，因为这样会把spark、hadoop本身相关的jar包也打进去，但是这些依赖在用spark-submit命令运行时，会自动加载部署环境中已有的。

 

/opt/cloudera/parcels/CDH/bin/spark-submit \

--class "cn.icarevision.its007.upgrade.EsIndexUpgrade" \

--jars ~/its007/its007-upgrade/lib/dependency/*.jar \ 

~/its007/its007-upgrade/lib/hello-es-hadoop_2.10-1.0.jar

 

其中--jars是是所有依赖的jar包，这里我把所有依赖的jar包放到了dependency这个目录。

上岸の鱼
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
spark：Idea编译程序打jar包部署到spark运行方法--19
花满楼
03-30 2478
感觉没个老师带着学spark真是举步维艰啊···一个问题能卡了2天才解决···写一下这俩天的收获吧··· //////////////////////////打包 1.Project Structure 2.Artifacts --- +jar --- From module with··· --- main class --- ok 3.class paths 要填？？/usr/local/s
编写第一个用scala写的spark任务，用sbt打包成jar，并单机模式下运行
make_APP的博客
01-27 6163
一、编写第一个用scala写的spark应用： 仿照spark的 quick-start的Self-Contained Applications写出第一个scala完整程序 链接如下： http://spark.apache.org/docs/latest/quick-start.html 即： /* SimpleApp.scala */ import org.apache.spar
spark_jar包
07-11
spark 最新技术架包，具体说名请找度娘。知道的人可以下载
Flink，spark对比
最新发布
weixin_41188932的博客
07-06 1036
最终打包成一个zip包上传。它的目的是为了控制一个taskManager 能运行多少个task，所以对资源进行了分配，划分成不同的slot，一般和cpu是1：1 的关系，所以一个算子分布在不同的taskManger 上面，在一个tm的并行度和slot是一比一的关系，那么全局的并行度就是我们自己设置的并行度了，不过我们在考虑的时候就是考虑单个tm里面的并行度好点；其实Flink 和Spark 也会进行数据的落盘，但是他们和mr的最大的本质不同就是他们可以把数据放在内存中，最后再落盘，而MR一定会落盘；
如何将spark程序打jar包并上传至本地集群环境运行
weixin_41765352的博客
12-28 5050
如何将spark程序打jar包，并上传至本地集群环境运行
Spark---如何打成jar包至服务器运行
shall潇の菜园
05-10 569
文章目录编写配置的路径打jar包上传jar包至服务器将相关文件上传至对应的地方程序执行命令 编写配置的路径 test.properties文件中的内容 第一个是要读的文件地址 第二个是要保存的文件地址 path:hdfs://192.168.XXX.100:9000/sparkfile/hello.txt savepath:hdfs://192.168.XXX.100:9000/sparkout/helloworld 编写程序 import java.io.FileInputStream import
Spark任务运行时依赖jar
Curry_lee_3的博客
08-29 459
可以通过 --jars 添加依赖到executor的运行时环境中 还可以通过 --driver-class-path 添加依赖到driver的运行时环境中 当然，最省事的办法： 把需要的依赖都打进自己的程序jar中 命令模板示例： bin/spark-submit \ --class cn.doitedu.data.pre.ApplogPreprocess \ --master yarn \ --deploy-mode client \ --num-executors 3 \ --executor-mem
第一次在spark环境下运行jar包
小小苹果的专栏
08-17 9333
第一次在spark环境下运行jar包，耶耶耶！！！心情赞赞哒！！！！ 现在开发的工具也主要换成了Intellij，因为方便嘛！！！之前果然不应该用eclipse，简直是强求啊~~Intellij从开发，到打包在spark界都是一把手~~么么哒~~ 打包的部分主要参考了一下博文： http://www.beanmoon.com/2014/10/11/%E5%A6%82%E4%BD%95%E4%
spark相关jar包
06-14
这些jar包通常包括Spark自身的API、Hadoop相关库（因为Spark通常在Hadoop生态系统中运行）、Scala库（Spark是用Scala编写的，因此需要Scala的运行时环境）、以及其他的库如Avro、Parquet、JSON解析库等。这些库允许...
Xgboost Spark Jar包及Python接口文件
05-26
在Spark上运行Xgboost，我们需要两个核心的jar包：xgboost4j_2.11-1.1.2.jar和xgboost4j-spark_2.11-1.1.2.jar。前者是Xgboost的Java版本，用于提供基础的决策树算法和优化功能；后者则是专门针对Spark的扩展，允许...
Spark on Yarn运行时加载的jar包
upupfeng的博客
08-22 3715
记录下spark on yarn运行时会加载的jar包
spark-2.1.0-bin-2.6.0-cdh5.7.0编译需要的jar包
02-19
在centos7中编译成功,废了九牛二虎之力，里面加入了阿里云的maven仓库，无需向别人一样需要编译好几天。jar包下载特别快，编译环境需要maven3.3.9，scala2.10，高版本反而编译不成功，全是坑，好在编译成功了。maven编译需要的jar包，直接解压的mavenrepository目录
Hadoop+Spark+Kafka+jar包
03-29
2. Spark的库，包括Spark Core、Spark SQL、Spark Streaming等模块，这些库使得Spark能运行在分布式集群上，处理各种类型的数据任务。 3. MySQL的连接驱动，因为描述中提到了“spark连接mysql”，所以可能包含用于...
spark jar包_Spark提交后都干了些什么？
weixin_35741582的博客
01-29 220
最近做了一个Spark小任务，在client模式下运行没问题，但是换了cluster模式就会出现一些第三方包找不到的问题。这是由于集群只在堡垒机中放了大部分的资源和jar包，而其他的如数据节点等节点中缺少这些包，因此需要将这些jar包也动态传到数据节点。如何使项目能够获取上传到hdfs的第三方依赖，这就需要了解spark任务提交后，第三方依赖包以及spark程序、环境配置等资源都到了哪里，然后又经...
spark集群版运行jar包
m0_65548365的博客
05-21 736
默认以及按照好了Hadoop的环境和spark环境以及idea环境。这是上面代码中编写的输出路径。不进行此步骤的话在服务器运行会出错。表示主类入口，就是上图中的主类是。信息，等待几秒后即可关闭。，运行成功后出现红色的。
spark-运行 jar 包
杜海的博客
11-08 7763
spark jar 本非方式运行 首先我们通过帮助命令来看spark 如何提交执行jar包 spark-submit --help spark-submit 详细参数说明 --master master 的地址，提交任务到哪里执行，例如 spark://host:port, yarn, local --deploy-mode 在本地 (client) 启动 dr...
在spark里面使用jar包运行java项目
lichao1618的博客
04-02 3860
在spark里面使用jar包运行java项目
Spark任务提交jar包依赖解决方案
chuowen140381的博客
07-19 466
转载自：http://blog.csdn.net/wzq294328238/article/details/48054525 通常我们将Spark任务编写后打包成jar包，使用spark-submit进行提交，因为spark是分布式任务，如果运行机器上没有对...
spark-submit运行jar包脚本命令
热门推荐
叶不二
08-14 1万+
找到spark-submit文件的目录 目录/spark-submit --master spark://192.168.172.10:7077 --executor-memory 2g --total-executor-cores 10 --driver-memory 4G --class com.test.main.test test.jar参数： --master spark集群
java 使用SparkLauncher提交spark任务运行在minio上面的jar包
04-04
要在Java中使用SparkLauncher提交Spark任务并运行在MinIO上面的JAR包，可以按照以下步骤操作： 1. 首先，需要导入以下依赖： ```xml <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.1.2</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-launcher_2.12</artifactId> <version>3.1.2</version> </dependency> <dependency> <groupId>io.minio</groupId> <artifactId>minio</artifactId> <version>8.0.11</version> </dependency> ``` 2. 接下来，需要创建一个SparkLauncher实例，设置Spark应用程序的相关参数，如下所示： ```java SparkLauncher launcher = new SparkLauncher() .setAppName("MyApp") .setSparkHome("/path/to/spark/home") .setMaster("spark://host:port") .setAppResource("s3a://bucket/path/to/myapp.jar") .setMainClass("com.myapp.Main") .addAppArgs("arg1", "arg2") .setConf(SparkLauncher.DRIVER_MEMORY, "1g") .setConf("spark.executor.instances", "2"); ``` 其中，setAppName()设置应用程序名称，setSparkHome()设置Spark安装路径，setMaster()设置Spark集群的Master节点地址，setAppResource()设置应用程序Jar包的路径，setMainClass()设置应用程序的入口类，addAppArgs()设置应用程序所需的参数，setConf()设置Spark配置项。 3. 然后，需要将MinIO的access key和secret key设置为环境变量，如下所示： ```java System.setProperty("aws.accessKeyId", "my_access_key"); System.setProperty("aws.secretKey", "my_secret_key"); ``` 4. 接下来，需要创建一个MinIO Client实例，并使用它来上传应用程序Jar包到MinIO存储桶中，如下所示： ```java MinioClient client = MinioClient.builder() .endpoint("http://minio-host:9000") .credentials("my_access_key", "my_secret_key") .build(); client.uploadObject( UploadObjectArgs.builder() .bucket("my-bucket") .object("path/to/myapp.jar") .filename("/path/to/myapp.jar") .build()); ``` 其中，endpoint()设置MinIO服务的地址，credentials()设置访问MinIO服务的凭证，uploadObject()将本地Jar包上传到MinIO存储桶中。 5. 最后，可以使用SparkLauncher的start()方法启动Spark应用程序，如下所示： ```java LauncherApps.submit(launcher); ``` 其中，LauncherApps是SparkLauncher的静态类，submit()方法用于提交Spark应用程序。 以上就是在Java中使用SparkLauncher提交Spark任务并运行在MinIO上面的JAR包的步骤。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值