Livy的安装使用

最新推荐文章于 2024-08-07 09:41:53 发布
最新推荐文章于 2024-08-07 09:41:53 发布
阅读量7w 收藏 2
点赞数 1
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32252917/article/details/107665107
版权
Apache Livy是Apache孵化器中的一个项目，它提供了REST接口来与Spark集群进行交互，支持提交Spark作业、代码片段，并管理SparkContext。Livy结合了Spark Job Server和Zeppelin的优点，支持长时间运行的SparkContext、Yarn集群模式，且可以跨多个Spark job和客户端共享RDD和DataFrame。本文介绍了Livy的安装步骤，包括下载、配置环境变量、启动服务，以及如何使用Livy新建session、提交代码和管理Spark任务。
摘要由CSDN通过智能技术生成

Livy介绍（apache 孵化项目）

官网：https://livy.incubator.apache.org/

Livy是一个提供rest接口和spark集群交互的服务。它可以提交spark job或者spark一段代码,同步或者异步的返回结果;也提供sparkcontext的管理,通过restfull接口或RPC客户端库。Livy也简化了与spark与应用服务的交互,这允许通过web/mobile与spark的使用交互。其他特点还包含:

  1. 长时间运行的SparkContext,允许多个spark job和多个client使用。
  2. 在多个spark job和客户端之间共享RDD和Dataframe
  3. 多个sparkcontext可以简单的管理,并运行在集群中而不是Livy Server,以此获取更好的容错性和并行度。
  4. 作业可以通过重新编译的jar、片段代码、或Java/Scala的客户端API提交。

Livy结合了spark job server和Zeppelin的优点,并解决了spark job server和Zeppelin的缺点。

  1. 支持jar和snippet code
  2. 支持SparkContext和Job的管理
  3. 支持不同SparkContext运行在不同进程,同一个进程只能运行一个SparkContext
  4. 支持Yarn cluster模式
  5. 提供restful接口,暴露SparkContext

Livy安装

下载

下载地址：

最低0.47元/天 解锁文章
浅汐王
关注
专栏目录
incubator-livy-website:Apache livy的镜像（正在孵化）
05-10
如何部署网站安装Jekyll和网站依赖项以下步骤将安装最新的版本以及建立此网站所需的任何依赖项。 1. sudo gem install jekyll bundler2. cd site3. sudo bundle install有关更多信息，请参见 。在本地运行在打开请求...
spark livy
terrorblade1235的博客
08-04 2275
spark livy标签（空格分隔）： bigdata spark livylivy是cloudera开发的通过REST来连接。管理spark的解决方案，此文记录在使用livy中遇到的一些问题。livy的安装 livy安装不多赘述，可以从github上自己build，也可以直接从livy.io上直接下载tar包。 下载livy，解压后，在livy-env中添加 export SPARK_HOME=/
Apache Livy 安装部署使用示例
Nice的博客
03-29 5136
Apache Livy 安装部署使用探索
Apache Livy (Incubating) 安装及使用指南
最新发布
gitblog_00604的博客
08-07 705
Apache Livy (Incubating) 安装及使用指南 incubator-livyApache Livy is an open source REST interface for interacting with Apache Spark from anywhere.项目地址:https://gitcode.com/gh_mirrors/in/incubator-livy 1. 项目...
Livy设置Session生命周期
Why Do You Run
09-03 2670
为什么要更改Livy的Session生命周期？ 使用LivyREST接口提交SparkJob时，任务执行成功后，过段时间Session和Job or Bathes的ID则会被清空，导致Spark任务的执行结果可能会查询不到，所以需要更改一下Livy的生命周期。 首先如果是在CDH环境下，则只需要在Livy的WebUI界面更新一下配置文件。 添加livy.server.session.timeout...
livy部署和使用
beiduofen2011的专栏
11-03 2223
部署 使用版本：apache-livy-0.7.1 环境：spark(配置中已添加hive-site.xml) , hive ,hadoop(hdfs+yarn) 基于centos livy只需要配置两个文件(livy-env.sh,livy.conf)： livy-env.sh 中添加环境变量配置 export JAVA_HOME=/usr/local/jdk/jdk1.8.0_141 export HADOOP_HOME=/usr/local/jdk/azkabanWebServe...
【大数据】Spark开源REST服务--Apache Livy的安装和使用
如切如磋，如琢如磨，臻于至善。
03-27 1023
Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库
livy-0.7.1-incubating-bin-cdh6.2.1.zip
11-20
**Livy的安装与配置：** 解压"Livy-0.7.1-incubating-bin"文件后，你会得到包含可执行文件和配置文件的目录结构。通常，你需要将Livy服务部署到CDH集群的每个节点上，然后配置相关设置，如Spark的地址、YARN的资源...
atom-livy:用于使用Apache Livy Web API的Atom软件包
05-16
用于使用Apache Livy Web API的Atom软件包 特征 直接从Atom编辑器执行语句 通过分成一些块分别执行语句 列出/列出多个会话 列出/切换多个Livy端点 用法 安装 $ apm install atom-livy 或在GUI软件包管理器中键入“ ...
livy-server-0.3.0.zip
06-22
为了部署Livy，你需要配置livy.conf文件，指定Spark的相关路径，比如Spark安装位置、Hadoop配置目录等。然后，你可以使用bin目录下的启动脚本来启动Livy服务器。一旦启动，你就可以通过发送HTTP请求到Livy服务器的...
livy-0.4.0 部署版免编译
12-07
0.4.0版本的Livy提供了更加稳定和易用的服务，尤其对于那些希望在不直接在本地安装和配置Spark的情况下，利用Spark功能的用户非常有用。 部署Livy-0.4.0免编译版意味着你可以直接使用预编译的二进制包，省去了自行...
Livy - 基于Apache Spark之上的REST服务
03-30
Livy是构建于Apache Spark之上的REST服务，它提供了安全、高可用、灵活的REST API使用户可以以交互式、批处理以及编程式API的方式操作Spark。本演讲将为大家介绍Livy的基本功能、高阶特性以及与其他类似框架的比较
Spark Livy 指南及livy部署访问实践
pop_xiaohao的专栏
05-05 3570
背景： Apache Spark 是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中，它提供了两种方式进行数据处理，一是交互式处理：比如用户使用spark-shell，编写交互式代码编译成spark作业提交到集群上去执行；二是批处理，通过spark-submit 提交打包好的spark 应用jar到集群中进行执行。 这两种运行方式都需要安装spark客户端配置好yarn集群信息，并打通集群网络访问权限，这种方式存在增加client所在节点资源使用负担和故障发生的可能性，同时client节点
114.Livy配置
大勇若怯任卷舒
08-11 575
代码】114.Livy配置。
记一次HDFS Delegation Token失效问题（续）
迹_Jason
01-22 963
在上篇讲到了，HDFS Delegation Token 问题的解决方法是 Spark-Submit 方式可以进行解决，经过了一段时间的反思和查看 Livy 和 Spark-Submit 两者日志之后，有了一点新发现，并且测试认证了，该方式是可行的，那么是怎么实现的呢？ 上篇传输门：地址 上文我有提到 livy spengo 是通过代理的方式实现 Kerberos 的认证的，当使用类似于 Sp...
初识livy
呼呼的小窝
10-31 2237
背景介绍 对于Spark有这样一个应用场景：Spark应用程序都是通过spark-submit进行提交的；而在工作当中，肯定是要将我们的spark-submit封装到shell里面去的，比如：今天凌晨去处理昨天的数据，肯定是需要获取到date，然后做 date - 1 操作(当前天数减1就是昨天了)，之后配置crontab，把shell脚本配置上去，每天凌晨定时执行就行了，或者采用azkaban、...
livy安装文档
风雨落
04-23 5258
1、下载Livy(可以自己下载源代码进行编译) http://livy.incubator.apache.org/download/ 源代码在git 上能够找到apache 版本和cloudera 两个版本 https://github.com/cloudera/livy 有比较详细的说明文档。 2、将livy的压缩包放到Linux 主机...
最全livy代码实战
nengm1988的博客
02-11 584
Apache Livy提供Rest service来与Apache Spark进行交互，通过Rest interface或RPC client来简化spark job和spark code snippet的提交，同步或异步获取结果，并提供对spark context的管理。
Livy简单使用 & 架构解读
热门推荐
呼呼的小窝
11-10 1万+
Livy使用 —— 关于Session的操作 官网案例：http://livy.incubator.apache.org/examples/ REST API：http://livy.incubator.apache.org/docs/latest/rest-api.html 通过REST API的方式去获取到session，返回活的交互式session 打开Postman，在其上面进行操作： G...
Apache Livy安装和在java中使用
04-07
Apache Livy是一个开源项目，它提供了一种RESTful接口，用于在Apache Spark集群上运行交互式和批处理作业。这个接口使得在Java或其他编程语言中使用Spark变得更加简单和方便。 安装 1. 安装Java和Scala Livy需要Java 8或更高版本和Scala 2.11.x或2.12.x。您可以从官方网站下载Java和Scala，也可以使用包管理器进行安装。 2. 下载和编译Livy源代码 您可以从Apache Livy的官方网站https://livy.apache.org/download/下载最新版本的源代码。下载后，解压缩文件并使用以下命令编译： ``` $ mvn clean package -DskipTests ``` 3. 配置Livy 在编译完成后，将生成一个目录livy-0.7.1-incubating-bin。在该目录中，找到conf目录并编辑livy.conf文件。在该文件中，您需要配置以下参数： ``` livy.server.port = 8998 livy.file.local-dir-whitelist = /tmp livy.spark.master = spark://<spark-master>:7077 ``` 其中，livy.server.port是Livy服务器的端口号，livy.file.local-dir-whitelist是本地目录的白名单，livy.spark.master是Spark master的URL。 4. 启动Livy 在配置完成后，使用以下命令启动Livy： ``` $ bin/livy-server ``` 在启动完成后，您可以使用http://localhost:8998/访问Livy的RESTful API。 使用 在Java中使用Livy，您需要使用Livy的Java客户端库。您可以在Maven中添加以下依赖项： ```xml <dependency> <groupId>org.apache.livy</groupId> <artifactId>livy-client-common</artifactId> <version>0.7.1-incubating</version> </dependency> <dependency> <groupId>org.apache.livy</groupId> <artifactId>livy-client-spark_2.11</artifactId> <version>0.7.1-incubating</version> </dependency> ``` 1. 创建LivyClient对象 使用以下代码创建一个LivyClient对象： ```java LivyClient client = new LivyClientBuilder() .setURI(new URI("http://localhost:8998")) .build(); ``` 其中，URI参数是Livy服务器的URL。 2. 提交Spark作业 使用以下代码提交一个Spark作业： ```java JavaSparkContext spark = new JavaSparkContext("spark://<spark-master>:7077", "MyApp"); List<Integer> data = Arrays.asList(1, 2, 3, 4, 5); JavaRDD<Integer> distData = spark.parallelize(data); int result = distData.reduce((a, b) -> a + b); ``` 其中，spark参数是Spark master的URL，data是一个包含整数的列表，distData是一个JavaRDD对象，result是reduce操作的结果。 使用以下代码将作业提交到Livy服务器： ```java JobHandle<Integer> handle = client.submit(new JavaSparkJob<>(MyApp.class.getName(), result)); ``` 其中，JavaSparkJob是一个用于包装Spark作业的类，MyApp是您的Spark作业的类名，result是作业的结果。 3. 获取作业结果 使用以下代码获取作业的结果： ```java int result = handle.get(); ``` 其中，handle是提交作业后返回的JobHandle对象，result是作业的结果。 4. 关闭LivyClient对象 使用以下代码关闭LivyClient对象： ```java client.stop(true); ``` 其中，true参数表示在关闭之前等待所有作业完成。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值