livy安装文档

最新推荐文章于 2023-05-09 20:16:50 发布

前行中632

最新推荐文章于 2023-05-09 20:16:50 发布

阅读量5.2k

点赞数 2

分类专栏：面试 livy

本文链接：https://blog.csdn.net/qq_32635069/article/details/80055904

版权

1、下载Livy(可以自己下载源代码进行编译)
http://livy.incubator.apache.org/download/
源代码在git 上能够找到apache 版本和cloudera 两个版本
https://github.com/cloudera/livy 有比较详细的说明文档。

2、将livy的压缩包放到Linux 主机上，并解压
这里写图片描述
3、配置Livy配置文件，配置文件在conf目录中，复制模板（templete）修改。

1. 配置livy-env.sh   注意：指定log的位置必须是存在的
![这里写图片描述](https://img-blog.csdn.net/20180423203017752?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNjM1MDY5/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA=

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

前行中632

关注关注

2
点赞
踩
4

收藏

觉得还不错? 一键收藏
2
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Livy的安装使用

浅汐

07-29

7万+

Livy介绍（apache 孵化项目）官网：https://livy.incubator.apache.org/ Livy是一个提供rest接口和spark集群交互的服务。它可以提交spark job或者spark一段代码,同步或者异步的返回结果;也提供sparkcontext的管理,通过restfull接口或RPC客户端库。Livy也简化了与spark与应用服务的交互,这允许通过web/mobile与spark的使用交互。其他特点还包含: 长时间运行的SparkContext,允许多个spark

livy的安装使用

weixin_34255793的博客

03-11

5783

2019独角兽企业重金招聘Python工程师标准>>> ...

2 条评论您还未登录，请先登录后发表或查看评论

Livy - 基于Apache Spark之上的REST服务

03-30

Livy是构建于Apache Spark之上的REST服务，它提供了安全、高可用、灵活的REST API使用户可以以交互式、批处理以及编程式API的方式操作Spark。本演讲将为大家介绍Livy的基本功能、高阶特性以及与其他类似框架的比较

linux使用shell安装livy

zxczb的博客

05-15

339

###注意事项需要配置 INSTALL_PATH SPARK_HOME HADOOP_CONF_DIR 需要准备对应hadoop版本的jersey jar,放到和安装包平级的 JAR_PATH 目录下,同时安装完成注意检查是否有不同版本的重复jar 配置 ZOOKEEPER_QUORUM (zk集群地址) #!/bin/bash ############################################### # # GIN INSTALL LIVY ENV # 需要配置 INST

114.Livy配置

大勇若怯任卷舒

08-11

589

代码】114.Livy配置。

livy部署和使用

beiduofen2011的专栏

11-03

2254

部署使用版本：apache-livy-0.7.1 环境：spark(配置中已添加hive-site.xml) , hive ,hadoop(hdfs+yarn) 基于centos livy只需要配置两个文件(livy-env.sh,livy.conf)： livy-env.sh 中添加环境变量配置 export JAVA_HOME=/usr/local/jdk/jdk1.8.0_141 export HADOOP_HOME=/usr/local/jdk/azkabanWebServe...

Livy简单使用 & 架构解读

呼呼的小窝

11-10

1万+

Livy使用 —— 关于Session的操作官网案例：http://livy.incubator.apache.org/examples/ REST API：http://livy.incubator.apache.org/docs/latest/rest-api.html 通过REST API的方式去获取到session，返回活的交互式session 打开Postman，在其上面进行操作： G...

Livy安装使用

baidu_27503999的博客

01-29

3344

spark任务submit，livy配置

incubator-livy:Apache livy的镜像（正在孵化）

05-14

可以在上找到有关使用Livy的入门指南和文档，示例代码段以及Livy API文档。建造Livy之前要构建Livy，您将需要： Debian / Ubuntu： mvn（来自maven包或maven3 tarball） openjdk-8-jdk（或Oracle JDK 8） ...

Spark Livy 指南及livy部署访问实践

pop_xiaohao的专栏

05-05

3620

背景： Apache Spark 是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中，它提供了两种方式进行数据处理，一是交互式处理：比如用户使用spark-shell，编写交互式代码编译成spark作业提交到集群上去执行；二是批处理，通过spark-submit 提交打包好的spark 应用jar到集群中进行执行。这两种运行方式都需要安装spark客户端配置好yarn集群信息，并打通集群网络访问权限，这种方式存在增加client所在节点资源使用负担和故障发生的可能性，同时client节点

livy-0.5安装

mnasd的博客

06-01

1248

$ cat conf/livy-env.sh #!/usr/bin/env bash SPARK_HOME=/opt/spark HADOOP_CONF_DIR=/etc/hadoop/conf$ cat conf/livy.conf livy.server.session.factory = yarn livy.spark.master = yarn-client livy.impersona...

livy部署及应用

最新发布

lehsyh的专栏

05-09

1111

Livy把spark交互式和批处理都搬到了web上，提供restful接口，Livy一方面接收并解析客户端提交的REST请求，转换成相应的操作，另一方面它管理着客户端所启动的spark集群Livy会为用户运行多个session，每个session就是一个常驻的spark context也可以成为一个spark集群。用户通过restful接口在对应的spark context执行代码，Livy服务端通过RPC协议与Spark集群进行通信。

Apache Livy 安装部署使用示例

Nice的博客

03-29

5186

Apache Livy 安装部署使用探索

livy安装

AntKengElephant的博客

12-19

430

下载 wget http://mirror.bit.edu.cn/apache/incubator/livy/0.6.0-incubating/apache-livy-0.6.0-incubating-bin.zip 解压到对应的路径 unzip apache-livy-0.6.0-incubating-bin.zip 修改配置名称修改 mv apache-livy-0.6.0...

livy0.5.0安装

genus_yang的博客

02-28

1182

livy0.5.0安装安装步骤解压livy压缩包复制所有模板配置livy-env.sh配置livy.conf手动创建logs目录配置环境变量启动livy判定是否安装成功安装步骤 livy是一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。livy的安装起因是因为griffin质量分析组件的依赖，故有此文。解压livy压缩...

Livy 安装使用说明

UnionIBM的博客

10-13

7275

Livy的local模式，为什么选择Livy，Livy支持的restful；livy hdfs上面的的依赖jar 问题；Livy 提供的关键字参数

apache-livy-0.7.0-incubating-bin.zip

06-17

文件`apache-livy-0.7.0-incubating-bin`中的其他文件，如配置文件和文档，可以帮助用户更好地理解和配置Livy。总的来说，Apache Livy是一个有潜力的Spark管理工具，尽管它在某些方面还需要改进，但其设计理念和...

快速安装Spark2和Livy0.3

lee_dalizi的博客

11-16

476

快速安装Spark2和Livy0.3 1、安装spark2.4.3 1）把spark-2.4.3-bin-hadoop2.7.tgz上传到/opt/software目录，并解压到/opt/module [user01@node1 software]$ tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz -C /opt/module/ 2）修改名称/opt/module/spark-2.4.3-bin-hadoop2.7名称为spark [user01@node1 module]

【大数据】Spark开源REST服务--Apache Livy的安装和使用

如切如磋，如琢如磨，臻于至善。

03-27

1049

Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库

livy简介