Livy调度Spark任务

安装配置LIVY

下载

首页：https://livy.incubator.apache.org/

下载：https://livy.incubator.apache.org/download/

下载文件

apache-livy-0.7.0-incubating-bin.zip

配置

解压后的目录结构

配置文件在conf目录下

先用mv 命令生成红框中两个文件

livy.conf改如下三个地方

Spark master配置yarn，表示执行SparkOnYarn模式。

livy-env.sh改三个地方

启动

启动命令

./bin/livy-server

看日志，如上情况，表示启动成功。若有问题，注意排查日志。

访问服务

初始化界面，空空如也。

 

还有一种情况，当任务完成，默认情况下，一段时间后任务会被自动删除。

如上图，本来页面上有执行成功的任务，一段时间突然没了，查看日志，有发现删除的记录。

 

调度Spark任务

测试CURL

客户机上，先确定安装过curl 服务。

命令：curl --version

准备Jar包

我们用spark 自带的spark-examples.jar进行测试。

由于本地文件不能添加到session中，请先将jar包，PUT到hdfs上。

准备CURL命令

命令如下：

curl -X POST --data '{"file": "/user/zhang/spark-examples_2.11-2.3.2.jar", "className": "org.apache.spark.examples.SparkPi", "args": ["10"]}' -H "Content-Type: application/json" 192.168.5.192:8998/batches

 

执行，查看情况

返回ID为5

 

查看效果

状态有 starting、running、success等几种状态

 

一会后，执行完成

如上图，点击蓝色“session”，查看具体的日志。

 

在Yarn的界面上，查看下，任务有没有提交过来？

完成