大数据学习（五）：如何使用 Livy提交spark批量任务

最新推荐文章于 2022-04-28 13:16:15 发布

猪笨是念来过倒

最新推荐文章于 2022-04-28 13:16:15 发布

阅读量6.7k

点赞数 2

分类专栏：大数据文章标签： spark

本文链接：https://blog.csdn.net/liao392781/article/details/90407212

版权

本文介绍了如何利用Livy这个开源REST接口与Spark进行交互，详细阐述了启动Livy服务器、提交jar包和Python任务的步骤，并提供了相关API的使用示例，包括查看任务状态、获取日志信息及终止任务的操作。

摘要由CSDN通过智能技术生成

Livy是一个开源的REST 接口，用于与Spark进行交互，它同时支持提交执行代码段和完整的程序。

Livy封装了spark-submit并支持远端执行。

启动服务器

执行以下命令，启动livy服务器。

./bin/livy-server

这里假设spark使用yarn模式，所以所有文件路径都默认位于HDFS中。如果是本地开发模式的话，直接使用本地文件即可（注意必须配置livy.conf文件，设置livy.file.local-dir-whitelist = directory，以允许文件添加到session）。

提交jar包

首先我们列出当前正在执行的任务：

curl localhost:8998/sessions | python -m json.tool  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100    34    0    34    0     0   2314      0 --:--:-- --:--:-- --:--:--  2428
{
    "from": 0,
    "sessions": [],
    "total": 0
}

然后提交jar包，假设提交的jar包位于hdfs中，路径为/usr/lib/spark/lib/spark-examples.jar

curl -X POST --data '{"file": "/user/romain/spark-examples.jar", "className": "org.apache.spark.examples.SparkPi"}' -H "Content-Type: application/json" localhost:8998/batches
{"id":0,"state":"running","log":[]}

返回结果中包括了提交的ID，这里为0，我们可以通过下面的命令查看任务状态：

curl localhost:8998/batches/0 | python -m json.tool
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   902    0   902    0     0  91120      0 --:--:-- -