Livy REST API使用教程

Livy概述

用过Spark的朋友对Livy一定不陌生，Livy是Apache Spark下的一个REST服务，通过Livy，你只要可以发送Http请求，就可以提交Spark任务。Livy在很多Spark数据平台上都作为一个提交任务的重要工具，你可以不知道Livy是怎么工作的，但是你不能不知道Livy是如何使用的。这里我们重点介绍下如何使用Livy的REST API来提交Spark任务，当然首先你得对Spark submit有一定的了解，不然就先移步Spark submit wiki。

Livy交互式的任务提

交互式的任务提交大家应该都不陌生，debug模式下我们一般都会用到这种方式来测试验证你的脚本逻辑。通俗点解释就是每次发送一条命令到Spark,就会就会收到Spark执行完这条命令的结果。在Livy中，一个交互式的spark任务，称作session。发送http post请求即可完成。

Livy交互式提交的参数：

参数	类型	描述
kind	enum	session的类别，包括：spark, pyspark, sparkr or sql
proxyUser	string	session 管理者/拥有者
jars	string list	session 中需要的jar包
pyFiles