Livy : 基于 Apache Spark 的 REST 服务

Apache Spark 提供的两种基于命令行的处理交互方式虽然足够灵活，但在企业应用中面临诸如部署、安全等问题。为此本文引入 Livy 这样一个基于 Apache Spark 的 REST 服务，它不仅以 REST 的方式代替了 Spark 传统的处理交互方式，同时也提供企业应用中不可忽视的多用户，安全，以及容错的支持。

背景

Apache Spark 作为当前最为流行的开源大数据计算框架，广泛应用于数据处理和分析应用，它提供了两种方式来处理数据：一是交互式处理，比如用户使用 spark-shell 或是 pyspark 脚本启动 Spark 应用程序，伴随应用程序启动的同时 Spark 会在当前终端启动 REPL（Read–Eval–Print Loop）来接收用户的代码输入，并将其编译成 Spark 作业提交到集群上去执行；二是批处理，批处理的程序逻辑由用户实现并编译打包成 jar 包，spark-submit 脚本启动 Spark 应用程序来执行用户所编写的逻辑，与交互式处理不同的是批处理程序在执行过程中用户没有与
Spark 进行任何的交互。

两种处理交互方式虽然看起来完全不一样，但是都需要用户登录到 Gateway 节点上通过脚本启动 Spark 进程。这样的方式会有什么问题吗？

• 首先将资源的使用和故障发生的可能性集中到了这些 Gateway 节点。由于所有的
  Spark 进程都是在 Gateway 节点上启动的，这势必会增加 Gateway 节点的资源使用负担和故障发生的可能性，同时 Gateway 节点的故障会带来单点问题，造成
  Spark 程序的失败。

• 其次难以管理、审计以及与已有的权限管理工具的集成。由于 Spark 采用脚本的方式启动应用程序࿰