利用 livy 远程提交 spark作业

最新推荐文章于 2024-08-07 09:41:53 发布

Smoozer

最新推荐文章于 2024-08-07 09:41:53 发布

阅读量9.3k

点赞数 1

分类专栏：大数据文章标签： spark 大数据 livy

本文链接：https://blog.csdn.net/Smoozer/article/details/52247627

版权

本文介绍了如何通过livy远程提交Spark作业，包括下载安装livy、配置环境变量、开启服务，以及详细阐述了使用REST API进行交互的步骤，如创建session、获取session信息、删除session、查询和获取statement详情等。

摘要由CSDN通过智能技术生成

利用 livy 远程提交 spark作业

1. 下载，安装 livy

下载地址：http://livy.io/quickstart.html

下载之后，解压即可运行

2. 配置环境变量

export SPARK_HOME=/usr/lib/spark 
export HADOOP_CONF_DIR=/etc/hadoop/conf

`3.配置主机和端口（可跳过，直接用默认值）`

# What host address to start the server on. By default, Livy will bind to all network interfaces. （主机）
 livy.server.host = 0.0.0.0

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Smoozer

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
2
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

spark提交

MOON

08-03

1112

这次主要讲一下spark的提交具体操作和流程。原来一直用，也没怎么深入查看，那么这次就来仔细看一下提交的学问。跟我们以前一样，我们以官网下手。这里我不在把英文贴上，直接进行。在spark的bin文件夹下的spark-submit脚本是用来提交应用的。它能够通过一个统一的接口来使用所有spark支持的集群管理器，所以我们不必单独配置每一个应用。如果你的代码依赖其他的项目，那么你需要与应用程序

spark系列-应用篇之通过livy提交Spark任务

litlit023的专栏

11-04

277

参考链接：https://blog.csdn.net/camel84/article/details/81990383

2 条评论您还未登录，请先登录后发表或查看评论

Apache Livy (Incubating) 安装及使用指南

最新发布

gitblog_00604的博客

08-07

699

Apache Livy (Incubating) 安装及使用指南 incubator-livyApache Livy is an open source REST interface for interacting with Apache Spark from anywhere.项目地址:https://gitcode.com/gh_mirrors/in/incubator-livy 1. 项目...

【Spark】通过livy2提交spark任务

hyj

10-27

1446

一、向livy2提交spark自带例子 [root@ambari1 Test]# curl -X POST --data '{"file": "/home/Test/spark-examples_2.11-2.2.0.2.6.3.0-235.jar", "className": "org.apache.spark.examples.SparkPi","args":["100"]}' -H "Content-Type: application/json" 192.168.xxx.xx3:8999/batc

Livy - 基于Apache Spark之上的REST服务

03-30

Livy是构建于Apache Spark之上的REST服务，它提供了安全、高可用、灵活的REST API使用户可以以交互式、批处理以及编程式API的方式操作Spark。本演讲将为大家介绍Livy的基本功能、高阶特性以及与其他类似框架的比较

【大数据】Spark开源REST服务--Apache Livy的安装和使用

如切如磋，如琢如磨，臻于至善。

03-27

1021

Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库

spark_livy_java_rest_api:在Java中使用REST API在Kerberos和SSL中使用Livy提交Spark作业

04-16

在Java中使用REST API在Kerberos和SSL中使用Livy提交Spark作业 mvn exec：java -Dexec.mainClass =“ o9.sparklivy.poc.SparkYarnRestClient” mvn clean编译程序集：单个 java -cp target / spark_livy_api-1.0-...

大数据学习（五）：如何使用 Livy提交spark批量任务

技术宅拯救世界

05-21

6691

Livy是一个开源的REST 接口，用于与Spark进行交互，它同时支持提交执行代码段和完整的程序。 Livy封装了spark-submit并支持远端执行。启动服务器执行以下命令，启动livy服务器。 ./bin/livy-server 这里假设spark使用yarn模式，所以所有文件路径都默认位于HDFS中。如果是本地开发模式的话，直接使用本地文件即可（注意必须配置liv...

Livy任务提交源码解析

qq_27639777的博客

06-01

1147

文章目录简介任务路由代码断任务远程Driver上建立RpcServerLivyServer接收客户端提交代码断任务LivyServer向远程Driver的RpcServer提交任务远程Driver的RpcServer接收任务Driver执行代码断任务Batch任务LivyServer接收batch任务创建BatchSession以提交Spark任务创建SparkYarnApp实例以操作远程Spark任务简介 Livy是基于Spark的开源REST服务，它能够通过REST的方式将代码段或是序列化的二进制代码

apache-livy-0.7.0-incubating-bin.zip

06-17

Livy是当前spark上最好的管控平台，即使不使用Livy，也可以借鉴Livy的设计思路。当然Livy当前还没完全成熟，下面列举了几个待完善的点，社区也在开发过程中，希望Livy后续变得更加完善。

livy提交spark任务支持cluster模式吗？

05-30

Livy是一个REST接口，它与Spark集成，允许您在集群上提交Spark作业。您可以使用Livy REST API提交Spark作业，然后在集群上运行这些作业。要在Livy中配置Spark集群模式，请按照以下步骤操作： 1. 在Livy的配置...

Spark Livy 指南及livy部署访问实践

pop_xiaohao的专栏

05-05

3566

背景： Apache Spark 是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中，它提供了两种方式进行数据处理，一是交互式处理：比如用户使用spark-shell，编写交互式代码编译成spark作业提交到集群上去执行；二是批处理，通过spark-submit 提交打包好的spark 应用jar到集群中进行执行。这两种运行方式都需要安装spark客户端配置好yarn集群信息，并打通集群网络访问权限，这种方式存在增加client所在节点资源使用负担和故障发生的可能性，同时client节点

Springboot+Spark(http请求调用spark api，并以集群模式运行)

qq_35514685的博客

01-18

9442

Springboot+Spark

livy使用RestAPI提交jar包样例

风雨落

04-06

3427

完成的样例使用RESTAPI https://github.com/flying632/livyRestExample.git

使用REST接口调用Spark——Apache Livy使用笔记

gx304419380的博客

04-09

7362

0x0 Livy安装与运行登录官网：http://livy.incubator.apache.org/ 下载最新版 livy。 1. 解压 2. 配置：在conf/livy-env.sh中添加： export SPARK_HOME=path/to/spark export HADOOP_CONF_DIR=/etc/hadoop/conf 进入bin文件执行 #前台模式，...

java 使用livy提交spark任务

05-30

要使用Java编写的应用程序通过Livy提交Spark任务，您可以使用Livy的Java客户端库。以下是一些基本的步骤： 1. 首先，您需要将Livy的Java客户端库添加到您的应用程序中。您可以从Livy的Maven中央仓库中获取该库。例如，如果您使用Maven构建您的应用程序，可以在pom.xml文件中添加以下依赖项： ```xml <dependency> <groupId>org.apache.livy</groupId> <artifactId>livy-client-http</artifactId> <version>0.7.1-incubating</version> </dependency> ``` 2. 接下来，您需要创建一个LivyClient实例，该实例将用于与Livy服务器交互。例如，您可以使用以下代码创建一个LivyClient： ```java LivyClient client = new LivyClientBuilder() .setURI(new URI("http://<livy-server>:8998")) .build(); ``` 其中，`<livy-server>`是Livy服务器的主机名或IP地址。 3. 然后，您需要使用LivyClient提交Spark作业。您可以使用以下代码提交一个Java Spark作业： ```java Job job = new JavaJobBuilder(SparkJob.class) .appName("My Spark Job") .mainClass("com.example.spark.MySparkJob") .args("arg1", "arg2") .jars("/path/to/your/dependencies.jar") .pyFiles("/path/to/your/dependencies.py") .conf("spark.driver.memory", "4g") .conf("spark.executor.memory", "2g") .build(); long jobId = client.submit(job); ``` 其中，`SparkJob`是您的Spark作业类，`com.example.spark.MySparkJob`是您的Spark作业的主类，`/path/to/your/dependencies.jar`和`/path/to/your/dependencies.py`是您的Spark作业的依赖项。 4. 最后，您可以使用LivyClient获取Spark作业的状态和输出。例如，您可以使用以下代码获取Spark作业的状态： ```java JobStatus status = client.getJobStatus(jobId); ``` 您还可以使用以下代码获取Spark作业的输出： ```java List<String> output = client.getJobResult(jobId).stdout(); ``` 以上就是使用Java编写的应用程序通过Livy提交Spark任务的基本步骤。需要注意的是，Livy需要与Spark集群的网络和安全设置兼容，才能在集群模式下正常工作。因此，在使用Livy时，请确保您已经正确地设置了Spark集群的网络和安全设置。