livy安装文档

5 篇文章 1 订阅

1、下载Livy(可以自己下载源代码进行编译)
http://livy.incubator.apache.org/download/
源代码在git 上能够找到apache 版本和cloudera 两个版本
https://github.com/cloudera/livy 有比较详细的说明文档。

2、将livy的压缩包放到Linux 主机上,并解压
这里写图片描述
3、配置Livy配置文件,配置文件在conf目录中,复制模板(templete)修改。
这里写图片描述
这里写图片描述

1. 配置livy-env.sh   注意:指定log的位置必须是存在的
![这里写图片描述](https://img-blog.csdn.net/20180423203017752?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNjM1MDY5/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
2. 配置livy.conf

这里写图片描述
3. 配置log4j.properties
其实就是将conf目录下的log4j.properties.template文件重命名一下
4. 配置完成后启动Livy server
5. livy提交常用命令

//创建一个sparksession
curl -X POST --data '{"kind": "spark"}' -H "Content-Type:application/json" 172.17.11.170:8998/sessions
//删除一个session
curl 172.17.11.170:8998/sessions/0 -X  DELETE -H 'Content-Type: application/json'
//在指定session上执行一段代码
curl 172.17.11.170:8998/sessions/15/statements -X POST -H 'Content-Type: application/json' -d '{"code":"sc.parallelize(1 to 2).count()"}'
//执行jar包
curl -H "Content-Type: application/json" -X POST -d '{"file":"hdfs://172.17.11.170:9000/jar/spark-examples-1.6.3-hadoop2.6.0.jar","className":"org.apache.spark.examples.SparkPi" }' 172.17.11.170:8998/batches
  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Apache Livy是一个开源项目,它提供了一种RESTful接口,用于在Apache Spark集群上运行交互式和批处理作业。这个接口使得在Java或其他编程语言中使用Spark变得更加简单和方便。 安装 1. 安装Java和Scala Livy需要Java 8或更高版本和Scala 2.11.x或2.12.x。您可以从官方网站下载Java和Scala,也可以使用包管理器进行安装。 2. 下载和编译Livy源代码 您可以从Apache Livy的官方网站https://livy.apache.org/download/下载最新版本的源代码。下载后,解压缩文件并使用以下命令编译: ``` $ mvn clean package -DskipTests ``` 3. 配置Livy 在编译完成后,将生成一个目录livy-0.7.1-incubating-bin。在该目录中,找到conf目录并编辑livy.conf文件。在该文件中,您需要配置以下参数: ``` livy.server.port = 8998 livy.file.local-dir-whitelist = /tmp livy.spark.master = spark://<spark-master>:7077 ``` 其中,livy.server.port是Livy服务器的端口号,livy.file.local-dir-whitelist是本地目录的白名单,livy.spark.master是Spark master的URL。 4. 启动Livy 在配置完成后,使用以下命令启动Livy: ``` $ bin/livy-server ``` 在启动完成后,您可以使用http://localhost:8998/访问Livy的RESTful API。 使用 在Java中使用Livy,您需要使用Livy的Java客户端库。您可以在Maven中添加以下依赖项: ```xml <dependency> <groupId>org.apache.livy</groupId> <artifactId>livy-client-common</artifactId> <version>0.7.1-incubating</version> </dependency> <dependency> <groupId>org.apache.livy</groupId> <artifactId>livy-client-spark_2.11</artifactId> <version>0.7.1-incubating</version> </dependency> ``` 1. 创建LivyClient对象 使用以下代码创建一个LivyClient对象: ```java LivyClient client = new LivyClientBuilder() .setURI(new URI("http://localhost:8998")) .build(); ``` 其中,URI参数是Livy服务器的URL。 2. 提交Spark作业 使用以下代码提交一个Spark作业: ```java JavaSparkContext spark = new JavaSparkContext("spark://<spark-master>:7077", "MyApp"); List<Integer> data = Arrays.asList(1, 2, 3, 4, 5); JavaRDD<Integer> distData = spark.parallelize(data); int result = distData.reduce((a, b) -> a + b); ``` 其中,spark参数是Spark master的URL,data是一个包含整数的列表,distData是一个JavaRDD对象,result是reduce操作的结果。 使用以下代码将作业提交到Livy服务器: ```java JobHandle<Integer> handle = client.submit(new JavaSparkJob<>(MyApp.class.getName(), result)); ``` 其中,JavaSparkJob是一个用于包装Spark作业的类,MyApp是您的Spark作业的类名,result是作业的结果。 3. 获取作业结果 使用以下代码获取作业的结果: ```java int result = handle.get(); ``` 其中,handle是提交作业后返回的JobHandle对象,result是作业的结果。 4. 关闭LivyClient对象 使用以下代码关闭LivyClient对象: ```java client.stop(true); ``` 其中,true参数表示在关闭之前等待所有作业完成。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值