应用端使用spark Laucher发送请求spark请求

最新推荐文章于 2023-02-25 20:39:02 发布

yinni11

最新推荐文章于 2023-02-25 20:39:02 发布

阅读量450

点赞数

分类专栏：大数据---spark

本文链接：https://blog.csdn.net/yinni11/article/details/95511688

版权

本文介绍了如何在应用端使用SparkLauncher提交Spark请求，包括获取Hadoop配置文件、设置Spark参数、指定standalone Master地址，以及在debug和非debug模式下的提交方式。注意，确保Spark_driver_memory和executor内存总和不超过应用可用内存。

摘要由CSDN通过智能技术生成

1.spark在命令行提交请求

spark-submit

1.使用spark Laucher来提交应用端的请求。

参数1:
conf.spark.yarn.jars = hdfs://hadoop 
使用之前提交到

2. 大数据平台下载hadoop相关的xml配置文件

需要的配置文件：

 echo $HADOOP_HOME

　可以查询到hadoop安装的目录：

/opt/cloudera/parcels/CDH/lib/hadoop

在该目录下找到etc／hadoop

在该目录下查询到hdfs-site.xml、yarn-site.xml 文件

使用

echo $HIVE_HOME

/opt/cloudera/parcels/CDH/lib/hive

cd /opt/cloudera/parcels/CDH/lib/hive

 在该目录下查看到hive的配置文件：hive-site.xml

使用

 echo $SPARK_HOME

配置文件，可是拿到spark的驱动文件

3. 在java应用程序中

构造spark launcher

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

yinni11

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Spark-利用SparkLauncher 类以JAVA API 编程的方式提交spark job

我有一个梦想的专栏

01-26

2万+

一.环境说明和使用软件的版本说明: hadoop-version:hadoop-2.9.0.tar.gz spark-version:spark-2.2.0-bin-hadoop2.7.tgz java-version:jdk1.8.0_151 集群环境：单机伪分布式环境。二.适用背景在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有两种（我所知道的）

利用SparkLauncher 类以JAVA API 编程的方式提交Spark job

weixin_30849403的博客

11-25

262

参与评论您还未登录，请先登录后发表或查看评论

利用SparkLauncher实现Spark Cluster模式下的远端交互

敏叔

01-22

3511

前言编者按—————————— 前一阵子在技术小群有位同学在群里做了和SparkLauncher相关的问题，当然聊天信息还有前后左右，大致就是希望可以定制化Spark的提交。也是，Spark的官网其实一出来就是教我们用命令行怎么去提交，诸如命令行什么的，有下面这样的 ./bin/run-example SparkPi 10 还有这样的 ./bin/spark-submit examples/src/main/python/pi.py 10 这种搞搞学习还好，到了实际需求来说这这架势整不会了。当然除

spark任务提交之SparkLauncher

weixin_30655219的博客

12-03

2442

最近需要做一个UI，在UI上做一个可以提交的spark程序的功能； 1-zeppelin就是这样的一个工具，其内部也是比较繁琐的。有兴趣的可以了解下。 2-SparkLauncher，spark自带的类 linux下其基本用法： public static void main(String[] args) throws Exception { HashMap&...

帮公司做的安卓 android端laucher，5个页面viewpager，适合电视，媒体播放，电视盒子，小米盒子

11-21

标题中的“安卓 android端laucher”指的是Android启动器，这是Android设备上用户界面的核心部分，负责展示主屏幕、应用快捷方式以及系统设置等。在电视、媒体播放设备和电视盒子，如小米盒子这样的智能硬件中，一个...

学习Flutter写的V2EX App 使用了flutter-html、rxdart、url-laucher开源框架.zip

最新发布

01-05

使用了dio、fluro、flutter_html、rxdart、intl、url_laucher开源框架学习Flutter写的简单的V2EX App。使用了dio、fluro、flutter_html、rxdart、intl、url_laucher开源框架学习Flutter写的简单的V2EX App。使用了...

SparkLauncher Java API提交Spark使用

liaonanfeng88的CSDN博客

07-06

1687

@Value("${spark.master:local}") private String master; @Value("${spark.deployMode:client}") private String deployMode; @Value("${spark.sparkHome:.}") private String sparkHome; @Value("${spark.appName:datagovernance}") pr...

SparkLaunch提交Spark任务到Yarn集群

Nice的博客

01-02

2449

SparkLaunch提交Spark任务到Yarn集群

SparkLauncher类（java调用spark任务源码理解）

weixin_44978754的博客

08-03

587

（1）通过launch()方法开启处理Spark app的进程 (2) 点进createBuilder()方法中有两个比较重要的方法 (3) 点进findSparkSubmit()方法根据操作系统定位到 spark-submit(linux) 命令相当于在服务器命令行输入spark-submit命令 (4)点进buildSparkSubmitArgs()方法主要是对用户填写的参数deployMode等和Conf设置的参数内容进行封装 (5)...

在Windows下程序通过SparkLauncher执行Spark应用好多坑

Shion's bla bla blog

01-05

3743

咱需要的是任务能自动运行，可别每次都手动命令来提交Spark应用啊！

SparkLauncher提交spark 正确的退出方式以及状态获取

qq_37706484的博客

02-25

1884

SparkLauncher 提交 Spark任务，使用CountDownLatch获取任务状态，出现状态获取不准确问题，spark任务是失败的，但是返回成功。

LauncherServer流程记录(spark-2.2.0)

weixin_30457551的博客

01-31

这里记录一下LauncherBackend和LauncherServer的通信流程流程图流程说明 SparkLauncher 在startApplication方法里通过createBuilder方法调用spark-submit脚本,同时启动LauncherServer服务，用于接收LauncherBackend的消息通过把固定的环境变量通告出去，通知LauncherBa...

使用SparkLauncher提交Spark作业

02-25

1477

通常情况下，使用spark-submit来提交作业。是否有办法使用代码动态地提交作业? 本文使用SparkLauncher提供了一种解决方法。提交Spark Application val handle: SparkAppHandle = newSparkLauncher() .setSparkHome("/path/to/spark/home") .setAppResource("/path...

LauncherBackend与LauncherServer

chbxw

04-12

953

一、Launcher LauncherServer是一个用来接收LauncherBackend发送spark app状态变化的服务当LauncherServer收到状态变化的信息后，会根据信息类型调用用户通过ChildProcAppHandle类注册进来的listener 核心方法为： newAppHandle 注册一个新的ChildProcAppH...

Springboot利用SparkLauncher提交Spark任务

weixin_44455388的博客

10-08

3023

Spark-Submit：在一般的Spark项目中，我们通常使用Spark Job的方式提交Spark任务，通过命令行的方式提交Job，使用spark 自带的spark-submit工具提交，官网和大多数参考资料都是已这种方式提交的，提交命令示例如下： $SPARK_HOME/bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster --driver-memory 1g --

Spark通过Spark-launcher（JavaApi）提交任务到yarn集群

clearlxj的博客

09-30

1995

通过spark-launcher提交 public void crateBatchTaskByLauncher() throws Exception { SparkApplicationParam sparkAppParams = new SparkApplicationParam(); sparkAppParams.setJarPath("/home/bd/SPARK/spark-test-1.0.0.jar"); sparkAppParams.setMainClass("com

android11 laucher3没有图标

12-08

1. 软件未安装：首先，确保你想要的应用程序已经在手机上安装并正常运行。如果应用程序未安装，你将无法在Launcher3中看到其图标。 2. 图标隐藏：有时候，用户可能无意中将应用程序图标从桌面上隐藏了。你可以尝试...