利用 livy 远程提交 spark作业

最新推荐文章于 2024-08-07 09:41:53 发布

Smoozer

最新推荐文章于 2024-08-07 09:41:53 发布

阅读量9.3k

点赞数 1

分类专栏：大数据文章标签： spark 大数据 livy

本文链接：https://blog.csdn.net/smoozer/article/details/52247627

版权

本文介绍了如何通过livy远程提交Spark作业，包括下载安装livy、配置环境变量、开启服务，以及详细阐述了使用REST API进行交互的步骤，如创建session、获取session信息、删除session、查询和获取statement详情等。

摘要由CSDN通过智能技术生成

利用 livy 远程提交 spark作业

1. 下载，安装 livy

下载地址：http://livy.io/quickstart.html

下载之后，解压即可运行

2. 配置环境变量

export SPARK_HOME=/usr/lib/spark 
export HADOOP_CONF_DIR=/etc/hadoop/conf

`3.配置主机和端口（可跳过，直接用默认值）`

# What host address to start the server on. By default, Livy will bind to all network interfaces. （主机）
 livy.server.host = 0.0.0.0

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Smoozer

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
2
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

spark提交

MOON

08-03

1112

这次主要讲一下spark的提交具体操作和流程。原来一直用，也没怎么深入查看，那么这次就来仔细看一下提交的学问。跟我们以前一样，我们以官网下手。这里我不在把英文贴上，直接进行。在spark的bin文件夹下的spark-submit脚本是用来提交应用的。它能够通过一个统一的接口来使用所有spark支持的集群管理器，所以我们不必单独配置每一个应用。如果你的代码依赖其他的项目，那么你需要与应用程序

spark系列-应用篇之通过livy提交Spark任务

litlit023的专栏

11-04

277

参考链接：https://blog.csdn.net/camel84/article/details/81990383

2 条评论您还未登录，请先登录后发表或查看评论

Apache Livy (Incubating) 安装及使用指南

最新发布

gitblog_00604的博客

08-07

697

Apache Livy (Incubating) 安装及使用指南 incubator-livyApache Livy is an open source REST interface for interacting with Apache Spark from anywhere.项目地址:https://gitcode.com/gh_mirrors/in/incubator-livy 1. 项目...

【Spark】通过livy2提交spark任务

hyj

10-27

1445

一、向livy2提交spark自带例子 [root@ambari1 Test]# curl -X POST --data '{"file": "/home/Test/spark-examples_2.11-2.2.0.2.6.3.0-235.jar", "className": "org.apache.spark.examples.SparkPi","args":["100"]}' -H "Content-Type: application/json" 192.168.xxx.xx3:8999/batc

Livy - 基于Apache Spark之上的REST服务

03-30

Livy是构建于Apache Spark之上的REST服务，它提供了安全、高可用、灵活的REST API使用户可以以交互式、批处理以及编程式API的方式操作Spark。本演讲将为大家介绍Livy的基本功能、高阶特性以及与其他类似框架的比较

【大数据】Spark开源REST服务--Apache Livy的安装和使用

如切如磋，如琢如磨，臻于至善。

03-27

1020

Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库

spark_livy_java_rest_api:在Java中使用REST API在Kerberos和SSL中使用Livy提交Spark作业

04-16

在Java中使用REST API在Kerberos和SSL中使用Livy提交Spark作业 mvn exec：java -Dexec.mainClass =“ o9.sparklivy.poc.SparkYarnRestClient” mvn clean编译程序集：单个 java -cp target / spark_livy_api-1.0-...

大数据学习（五）：如何使用 Livy提交spark批量任务

技术宅拯救世界

05-21

6689

Livy是一个开源的REST 接口，用于与Spark进行交互，它同时支持提交执行代码段和完整的程序。 Livy封装了spark-submit并支持远端执行。启动服务器执行以下命令，启动livy服务器。 ./bin/livy-server 这里假设spark使用yarn模式，所以所有文件路径都默认位于HDFS中。如果是本地开发模式的话，直接使用本地文件即可（注意必须配置liv...

Livy任务提交源码解析

qq_27639777的博客

06-01

1147

文章目录简介任务路由代码断任务远程Driver上建立RpcServerLivyServer接收客户端提交代码断任务LivyServer向远程Driver的RpcServer提交任务远程Driver的RpcServer接收任务Driver执行代码断任务Batch任务LivyServer接收batch任务创建BatchSession以提交Spark任务创建SparkYarnApp实例以操作远程Spark任务简介 Livy是基于Spark的开源REST服务，它能够通过REST的方式将代码段或是序列化的二进制代码

livy提交spark任务支持cluster模式吗？

05-30

Livy是一个REST接口，它与Spark集成，允许您在集群上提交Spark作业。您可以使用Livy REST API提交Spark作业，然后在集群上运行这些作业。要在Livy中配置Spark集群模式，请按照以下步骤操作： 1. 在Livy的配置...

Spark Livy 指南及livy部署访问实践

pop_xiaohao的专栏

05-05

3562

背景： Apache Spark 是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中，它提供了两种方式进行数据处理，一是交互式处理：比如用户使用spark-shell，编写交互式代码编译成spark作业提交到集群上去执行；二是批处理，通过spark-submit 提交打包好的spark 应用jar到集群中进行执行。这两种运行方式都需要安装spark客户端配置好yarn集群信息，并打通集群网络访问权限，这种方式存在增加client所在节点资源使用负担和故障发生的可能性，同时client节点

livy使用样例_黑猴子的家：利用 livy 远程提交 spark作业

weixin_29972373的博客

12-24

833

livy是cloudera开发的通过REST来连接。管理spark的解决方案，此文记录在使用livy中遇到的一些问题1、livy的下载livy安装不多赘述，可以从github上自己build，也可以直接从livy.io上直接下载tar包。下载地址：http://livy.io/quickstart.html下载之后，解压即可运行2、解压livy后，在livy-env.sh中添加export S...

Livy原理详解

weixin_30721899的博客

02-12

515

概述当前spark上的管控平台有spark job server，zeppelin，由于spark job server和zeppelin都存在一些缺陷，比如spark job server不支持提交sql，zeppelin不支持jar包方式提交，并且它们都不支持yarn cluster模式，只能以client的模式运行，这会严重影响扩展性。针对这些问题，cloudera研发了Livy，L...

LIVY安装部署（已实战，真实有效）

weixin_51485976的博客

11-20

1789

livy下载地址：http://mirror.bit.edu.cn/apache/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip [root@cdh04 ~]# mkdir /usr/livy [root@cdh04 ~]# mkdir /var/log/livy [root@cdh04 ~]# mkdir /var/run/livy [root@cdh04 ~]# chown hdfs /var/log/livy [root@cd

初识livy

呼呼的小窝

10-31

2237

背景介绍对于Spark有这样一个应用场景：Spark应用程序都是通过spark-submit进行提交的；而在工作当中，肯定是要将我们的spark-submit封装到shell里面去的，比如：今天凌晨去处理昨天的数据，肯定是需要获取到date，然后做 date - 1 操作(当前天数减1就是昨天了)，之后配置crontab，把shell脚本配置上去，每天凌晨定时执行就行了，或者采用azkaban、...

java 使用livy提交spark任务

05-30

3. 然后，您需要使用LivyClient提交Spark作业。您可以使用以下代码提交一个Java Spark作业： ```java Job job = new JavaJobBuilder(SparkJob.class) .appName("My Spark Job") .mainClass(...