livy安装文档

最新推荐文章于 2024-08-07 09:41:53 发布

前行中632

最新推荐文章于 2024-08-07 09:41:53 发布

阅读量5.2k

点赞数 2

分类专栏：面试 livy

本文链接：https://blog.csdn.net/qq_32635069/article/details/80055904

版权

1、下载Livy(可以自己下载源代码进行编译)
http://livy.incubator.apache.org/download/
源代码在git 上能够找到apache 版本和cloudera 两个版本
https://github.com/cloudera/livy 有比较详细的说明文档。

2、将livy的压缩包放到Linux 主机上，并解压
这里写图片描述
3、配置Livy配置文件，配置文件在conf目录中，复制模板（templete）修改。

1. 配置livy-env.sh   注意：指定log的位置必须是存在的
![这里写图片描述](https://img-blog.csdn.net/20180423203017752?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNjM1MDY5/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA=

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

前行中632

关注关注

2
点赞
踩
4

收藏

觉得还不错? 一键收藏
2
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Livy的安装使用

浅汐

07-29

7万+

Livy介绍（apache 孵化项目）官网：https://livy.incubator.apache.org/ Livy是一个提供rest接口和spark集群交互的服务。它可以提交spark job或者spark一段代码,同步或者异步的返回结果;也提供sparkcontext的管理,通过restfull接口或RPC客户端库。Livy也简化了与spark与应用服务的交互,这允许通过web/mobile与spark的使用交互。其他特点还包含: 长时间运行的SparkContext,允许多个spark

Livy - 基于Apache Spark之上的REST服务

03-30

Livy是构建于Apache Spark之上的REST服务，它提供了安全、高可用、灵活的REST API使用户可以以交互式、批处理以及编程式API的方式操作Spark。本演讲将为大家介绍Livy的基本功能、高阶特性以及与其他类似框架的比较

2 条评论您还未登录，请先登录后发表或查看评论

114.Livy配置

大勇若怯任卷舒

08-11

572

代码】114.Livy配置。

Apache Livy (Incubating) 安装及使用指南

最新发布

gitblog_00604的博客

08-07

699

Apache Livy (Incubating) 安装及使用指南 incubator-livyApache Livy is an open source REST interface for interacting with Apache Spark from anywhere.项目地址:https://gitcode.com/gh_mirrors/in/incubator-livy 1. 项目...

livy部署和使用

beiduofen2011的专栏

11-03

2220

部署使用版本：apache-livy-0.7.1 环境：spark(配置中已添加hive-site.xml) , hive ,hadoop(hdfs+yarn) 基于centos livy只需要配置两个文件(livy-env.sh,livy.conf)： livy-env.sh 中添加环境变量配置 export JAVA_HOME=/usr/local/jdk/jdk1.8.0_141 export HADOOP_HOME=/usr/local/jdk/azkabanWebServe...

Livy简单使用 & 架构解读

呼呼的小窝

11-10

1万+

Livy使用 —— 关于Session的操作官网案例：http://livy.incubator.apache.org/examples/ REST API：http://livy.incubator.apache.org/docs/latest/rest-api.html 通过REST API的方式去获取到session，返回活的交互式session 打开Postman，在其上面进行操作： G...

livy-0.5安装

mnasd的博客

06-01

1234

$ cat conf/livy-env.sh #!/usr/bin/env bash SPARK_HOME=/opt/spark HADOOP_CONF_DIR=/etc/hadoop/conf$ cat conf/livy.conf livy.server.session.factory = yarn livy.spark.master = yarn-client livy.impersona...

livy的安装使用

weixin_34255793的博客

03-11

5767

2019独角兽企业重金招聘Python工程师标准>>> ...

incubator-livy:Apache livy的镜像（正在孵化）

05-14

可以在上找到有关使用Livy的入门指南和文档，示例代码段以及Livy API文档。建造Livy之前要构建Livy，您将需要： Debian / Ubuntu： mvn（来自maven包或maven3 tarball） openjdk-8-jdk（或Oracle JDK 8） ...

Spark Livy 指南及livy部署访问实践

pop_xiaohao的专栏

05-05

3566

背景： Apache Spark 是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中，它提供了两种方式进行数据处理，一是交互式处理：比如用户使用spark-shell，编写交互式代码编译成spark作业提交到集群上去执行；二是批处理，通过spark-submit 提交打包好的spark 应用jar到集群中进行执行。这两种运行方式都需要安装spark客户端配置好yarn集群信息，并打通集群网络访问权限，这种方式存在增加client所在节点资源使用负担和故障发生的可能性，同时client节点

livy-0.4.0 部署版免编译

12-07

livy-0.4.0 部署版免编译 livy-0.4.0 部署版免编译livy-0.4.0 部署版免编译

Apache Livy 安装部署使用示例

Nice的博客

03-29

5130

Apache Livy 安装部署使用探索

快速安装Spark2和Livy0.3

lee_dalizi的博客

11-16

464

快速安装Spark2和Livy0.3 1、安装spark2.4.3 1）把spark-2.4.3-bin-hadoop2.7.tgz上传到/opt/software目录，并解压到/opt/module [user01@node1 software]$ tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz -C /opt/module/ 2）修改名称/opt/module/spark-2.4.3-bin-hadoop2.7名称为spark [user01@node1 module]

探索Livy：无缝对接Apache Spark的REST接口

gitblog_00029的博客

05-15

396

探索Livy：无缝对接Apache Spark的REST接口项目地址:https://gitcode.com/cloudera/livy 项目简介欢迎来到Livy，一个开放源码的REST接口，它使您能够从任何地方与Apache Spark进行交互。无论您的Spark环境是本地运行还是在Apache Hadoop YARN上，Livy都能提供服务。它的主要功能包括：支持Scala、Pytho...

livy简介

热门推荐

asfjgvajfghaklsbf的博客

02-16

1万+

livy简介什么是livy Livy通过提供REST服务来简化与Spark集群的交互。它可以通过job或者代码片段的方式来提交Spark任务，并同步或者异步地获得任务的结果，以及管理spark context，上述功能通过简单的REST接口或者RPC服务来实现。livy也可以简化Spark与一些应用程序之间的交互，使得Spark可以用于一些web应用(比如Hue)。更多的功能包括：拥有长...

【大数据】Spark开源REST服务--Apache Livy的安装和使用

如切如磋，如琢如磨，臻于至善。

03-27

1021

Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库

Livy安装&部署

呼呼的小窝

11-05

4058

官网 http://livy.incubator.apache.org/get-started/ Download [hadoop@hadoop001 software]$ wget http://mirrors.hust.edu.cn/apache/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip [hadoop@hado...

livy部署及应用

lehsyh的专栏

05-09

1036

Livy把spark交互式和批处理都搬到了web上，提供restful接口，Livy一方面接收并解析客户端提交的REST请求，转换成相应的操作，另一方面它管理着客户端所启动的spark集群Livy会为用户运行多个session，每个session就是一个常驻的spark context也可以成为一个spark集群。用户通过restful接口在对应的spark context执行代码，Livy服务端通过RPC协议与Spark集群进行通信。

Apache Livy安装和在java中使用

04-07

Apache Livy是一个开源项目，它提供了一种RESTful接口，用于在Apache Spark集群上运行交互式和批处理作业。这个接口使得在Java或其他编程语言中使用Spark变得更加简单和方便。安装 1. 安装Java和Scala Livy需要...