livy0.5.0安装

最新推荐文章于 2023-05-09 20:16:50 发布
置顶 最新推荐文章于 2023-05-09 20:16:50 发布
阅读量1.1k 收藏 4
点赞数
分类专栏： 大数据 文章标签： livy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/genus_yang/article/details/88027799
版权
本文详细介绍了如何安装Apache Livy 0.5.0，包括解压安装包、配置环境变量、启动服务，并提供安装成功的验证方法。Livy作为一个Spark REST服务，允许通过REST接口提交代码到Spark集群执行。
摘要由CSDN通过智能技术生成

livy0.5.0安装

安装步骤

livy是一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。livy的安装起因是因为griffin质量分析组件的依赖，故有此文。
下载链接：http://livy.apache.org/download/

解压livy压缩包

[hadoop@master ~]$ unzip livy-0.5.0-incubating-bin.zip

更改压缩包名称（个人习惯）

[hadoop@master ~]$ mv livy-0.5.0-incubating-bin/ livy-0.5.0/

复制所有模板

[hadoop@master ~]$ cd livy-0.5.0/conf/
[hadoop@master conf]$ cp livy-client.conf.template livy-client.conf
[hadoop@master conf]$ cp livy-env.sh.template livy-env.sh
[hadoop@master conf]$ cp spark-blacklist.conf.template spark-blacklist.conf
[hadoop@master conf]$ cp livy.conf.template livy.conf<

最低0.47元/天 解锁文章
yangjab
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
livy安装与部署
留不住斜阳的博客
08-16 3103
livy安装部署有两种方式：直接下载Apache社区编译好的zip包安装部署，或者下载源码进行编译安装；本文采用Apache社区编译好的zip进行安装部署。 前提： 已经安装部署好CDH集群，版本为5.14.0 将livy安装包解压到/opt/cloudera目录下 [root@cdh001 ~]# ls /opt/cloudera/ apache-livy-0.7.0-incubating-bin csd parcel-cache parcel-repo parcels 创建livy用户、
Livy安装使用
baidu_27503999的博客
01-29 3297
spark任务submit，livy配置
livy部署及应用
最新发布
lehsyh的专栏
05-09 967
Livy把spark交互式和批处理都搬到了web上，提供restful接口，Livy一方面接收并解析客户端提交的REST请求，转换成相应的操作，另一方面它管理着客户端所启动的spark集群Livy会为用户运行多个session，每个session就是一个常驻的spark context也可以成为一个spark集群。用户通过restful接口在对应的spark context执行代码，Livy服务端通过RPC协议与Spark集群进行通信。
Livy安装使用（Spark rest接口服务工具）
学亮编程手记
09-14 295
Apache Livy 安装部署使用示例
Nice的博客
03-29 4935
Apache Livy 安装部署使用探索
livy-rsc-0.5.0-incubating.jar
02-23
livy安装过程需要的包，进行替换livy部署包中jars中的对应的jar包
incubator-livy:Apache livy的镜像（正在孵化）
05-14
阿帕奇·利维（Apache Livy） Apache Livy是一个开放源代码的REST接口，用于从任何地方与进行交互。 它支持在本地运行或在中运行的Spark上下文中执行代码片段或程序片段。 交互式Scala，Python和R Shell 使用...
incubator-livy-website:Apache livy的镜像（正在孵化）
05-10
如何部署网站安装Jekyll和网站依赖项以下步骤将安装最新的版本以及建立此网站所需的任何依赖项。 1. sudo gem install jekyll bundler2. cd site3. sudo bundle install有关更多信息，请参见 。在本地运行在打开请求...
livy-server-0.3.0.zip
06-22
为了部署Livy，你需要配置livy.conf文件，指定Spark的相关路径，比如Spark安装位置、Hadoop配置目录等。然后，你可以使用bin目录下的启动脚本来启动Livy服务器。一旦启动，你就可以通过发送HTTP请求到Livy服务器的...
livy-0.7.1-incubating-bin-cdh6.2.1.zip
11-20
**Livy的安装与配置：** 解压"Livy-0.7.1-incubating-bin"文件后，你会得到包含可执行文件和配置文件的目录结构。通常，你需要将Livy服务部署到CDH集群的每个节点上，然后配置相关设置，如Spark的地址、YARN的资源...
livy-0.4.0 部署版免编译
12-07
livy-0.4.0 部署版免编译 livy-0.4.0 部署版免编译livy-0.4.0 部署版免编译
linux使用shell安装livy
zxczb的博客
05-15 315
###注意事项 需要配置 INSTALL_PATH SPARK_HOME HADOOP_CONF_DIR 需要准备对应hadoop版本的jersey jar,放到和安装包平级的 JAR_PATH 目录下,同时安装完成注意检查是否有不同版本的重复jar 配置 ZOOKEEPER_QUORUM (zk集群地址) #!/bin/bash ############################################### # # GIN INSTALL LIVY ENV # 需要配置 INST
livy安装
AntKengElephant的博客
12-19 410
下载 wget http://mirror.bit.edu.cn/apache/incubator/livy/0.6.0-incubating/apache-livy-0.6.0-incubating-bin.zip 解压到对应的路径 unzip apache-livy-0.6.0-incubating-bin.zip 修改配置 名称修改 mv apache-livy-0.6.0...
如何源码编译Livy
舒克_开飞机的blog
10-10 1796
首先下载Livy 前置条件： Xcode command line toolsOracle's JDK 1.7+Maven (Homebrew)Python 2.6+R 3.xLivy requires at least Spark 1.6 and supports both Scala 2.10 and 2.11 builds of Spark, Livy will automatica
Spark2.0.1 on yarn with hue 集群安装部署（七）livy安装测试
dockj的博客
11-25 8477
R安装，pip安装，livy安装，livy整合spark，livy整合spark测试
LIVY安装部署（已实战，真实有效）
weixin_51485976的博客
11-20 1685
livy下载地址：http://mirror.bit.edu.cn/apache/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip [root@cdh04 ~]# mkdir /usr/livy [root@cdh04 ~]# mkdir /var/log/livy [root@cdh04 ~]# mkdir /var/run/livy [root@cdh04 ~]# chown hdfs /var/log/livy [root@cd
Spark调度-livy 安装使用
dymkkj的专栏
07-12 1651
1.下载压缩包,解压 https://www.apache.org/dyn/closer.lua/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip unzip  livy-0.5.0-incubating-bin.zip   2.配置环境变量 vim .profile(ubuntu,redhat/centos .bash_p...
livy部署和使用
beiduofen2011的专栏
11-03 2146
部署 使用版本：apache-livy-0.7.1 环境：spark(配置中已添加hive-site.xml) , hive ,hadoop(hdfs+yarn) 基于centos livy只需要配置两个文件(livy-env.sh,livy.conf)： livy-env.sh 中添加环境变量配置 export JAVA_HOME=/usr/local/jdk/jdk1.8.0_141 export HADOOP_HOME=/usr/local/jdk/azkabanWebServe...
初识livy
呼呼的小窝
10-31 2224
背景介绍 对于Spark有这样一个应用场景：Spark应用程序都是通过spark-submit进行提交的；而在工作当中，肯定是要将我们的spark-submit封装到shell里面去的，比如：今天凌晨去处理昨天的数据，肯定是需要获取到date，然后做 date - 1 操作(当前天数减1就是昨天了)，之后配置crontab，把shell脚本配置上去，每天凌晨定时执行就行了，或者采用azkaban、...
Apache Livy安装和在java中使用
04-07
Apache Livy是一个开源项目，它提供了一种RESTful接口，用于在Apache Spark集群上运行交互式和批处理作业。这个接口使得在Java或其他编程语言中使用Spark变得更加简单和方便。 安装 1. 安装Java和Scala Livy需要Java 8或更高版本和Scala 2.11.x或2.12.x。您可以从官方网站下载Java和Scala，也可以使用包管理器进行安装。 2. 下载和编译Livy源代码 您可以从Apache Livy的官方网站https://livy.apache.org/download/下载最新版本的源代码。下载后，解压缩文件并使用以下命令编译： ``` $ mvn clean package -DskipTests ``` 3. 配置Livy 在编译完成后，将生成一个目录livy-0.7.1-incubating-bin。在该目录中，找到conf目录并编辑livy.conf文件。在该文件中，您需要配置以下参数： ``` livy.server.port = 8998 livy.file.local-dir-whitelist = /tmp livy.spark.master = spark://<spark-master>:7077 ``` 其中，livy.server.port是Livy服务器的端口号，livy.file.local-dir-whitelist是本地目录的白名单，livy.spark.master是Spark master的URL。 4. 启动Livy 在配置完成后，使用以下命令启动Livy： ``` $ bin/livy-server ``` 在启动完成后，您可以使用http://localhost:8998/访问Livy的RESTful API。 使用 在Java中使用Livy，您需要使用Livy的Java客户端库。您可以在Maven中添加以下依赖项： ```xml <dependency> <groupId>org.apache.livy</groupId> <artifactId>livy-client-common</artifactId> <version>0.7.1-incubating</version> </dependency> <dependency> <groupId>org.apache.livy</groupId> <artifactId>livy-client-spark_2.11</artifactId> <version>0.7.1-incubating</version> </dependency> ``` 1. 创建LivyClient对象 使用以下代码创建一个LivyClient对象： ```java LivyClient client = new LivyClientBuilder() .setURI(new URI("http://localhost:8998")) .build(); ``` 其中，URI参数是Livy服务器的URL。 2. 提交Spark作业 使用以下代码提交一个Spark作业： ```java JavaSparkContext spark = new JavaSparkContext("spark://<spark-master>:7077", "MyApp"); List<Integer> data = Arrays.asList(1, 2, 3, 4, 5); JavaRDD<Integer> distData = spark.parallelize(data); int result = distData.reduce((a, b) -> a + b); ``` 其中，spark参数是Spark master的URL，data是一个包含整数的列表，distData是一个JavaRDD对象，result是reduce操作的结果。 使用以下代码将作业提交到Livy服务器： ```java JobHandle<Integer> handle = client.submit(new JavaSparkJob<>(MyApp.class.getName(), result)); ``` 其中，JavaSparkJob是一个用于包装Spark作业的类，MyApp是您的Spark作业的类名，result是作业的结果。 3. 获取作业结果 使用以下代码获取作业的结果： ```java int result = handle.get(); ``` 其中，handle是提交作业后返回的JobHandle对象，result是作业的结果。 4. 关闭LivyClient对象 使用以下代码关闭LivyClient对象： ```java client.stop(true); ``` 其中，true参数表示在关闭之前等待所有作业完成。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值