Hue中spark 实现提交运行源码过程

最新推荐文章于 2021-11-25 09:55:29 发布

一头大菜鸟

最新推荐文章于 2021-11-25 09:55:29 发布

阅读量9.5k

点赞数

分类专栏：研发问题文章标签： hadoop spark

本文链接：https://blog.csdn.net/gaoqida/article/details/52055716

版权

研发问题专栏收录该内容

7 篇文章 0 订阅

订阅专栏

Hue中spark 实现提交运行源码过程

一．简介

1.1 Hue notebook

在Hue3.8版本之前，spark是以UI组件进行展示的。在3.8版本之后，为了支持不同语言例如python，scala并提供一个类似REPL（类似于一个终端可以编辑所有变成语言）的环境。Hue提供了notebook组件并将关于spark的运行逻辑放置在notebook UI中执行。为了执行Spark作业，需要安装Livy服务器。

1.2 Spark Livy Server

为了执行Spark Job，Hue提供了执行服务器Livy，加强了Hue notebook对spark的支持。它类似于Oozie hadoop工作流服务器，对外提供了Rest Api，客户端将spark jar以及配置参数传递给livy，livy依据配置文件以及参数执行jar。

P.s. livy出现时间不长，维护的版本才到0.2.0。并没有Oozie成熟，直接使用作为spark server 感觉坑会比较多。

二．配置Livy

livy在Hue中自带源码，位置在${HUE_PATH}/apps/spark/java下，进行编译后执行（可能会有日志jar包不存在报错，修改classpath并添加）。

在运行成功后，可以对livy服务器发送Rest请求并执行scala，spark Job等。具体的配置路径可以查看livy的github（https://github.com/cloudera/livy）。

三．Hue中notebook提交Spark Job的源码实现

为了方便阅读，按照操作的步骤进行解读：

3.1打开notebook页面

发送请求：http://{Livy_IP}:{Livy_port}/notebook/new

源码（desktop/libs/notebook/views/new）,在这个方法中主要验证了当前的运行环境是否是yarn。之后会返回包含notebook_id 的json数据渲染notebook.mako。进入notebook页面如下：

3.2点击UI

当点击+后产生notebook的代码片段输入部分。根据Hue的Session对象在Livy服务器中生成一个session，以后如果session一直保存则无需再调此接口。发送请求：/notebook/api/create_session

源码（desktop/libs/notebook/api/create_session），该方法的执行流程：首先它会根据点击的按钮调用notebook.connectors，这是个工厂模式，返回不同链接的api。

包含链接的api如上。在这主要以sparkApi做为例子。以这个接口做为对象调用相应的createSession方法。调用了Livy中的/session接口，POST形式发送的Request Body为一些配置信息，这些信息是从Hue的Session中获取，进行加工后传输给Livy。最终会在Livy服务器中生成对应的Session，客户端通过返回的id值获取此Session。

在Livy中用户的操作都是通过session进行，未来开发需要对此session进行有效的管理（由于此Session都是存储在Livy服务器上，未来开发需要将session的内容同步到本地上来，防止服务器session丢失以至于丢失用户以往的工作内容）。

3.3 切换不同的语言状态

发送请求：/notebook/api/autocomplete/

源码（desktop/libs/notebook/api/autocomplete）这里会依据不同的输入参数修改链接的内容，比如如果选择DB操作，在这个方法中首先会对数据库进行连接。Spark的相关操作在这并不做修改。

3.4提交作业

以Spark Submit Job做为例子：

主要输入参数为Path，Main-class以及arguements。其中Path为jar所在的位置，最好放置在HDFS中进行执行。可以从本地上传。

3.5执行

在这个页面点击执行的时候测试有点bug主要是执行按钮为不可选，切换到别的编辑模式再换回来才可执行。

发送请求：/notebook/api/execute

源码（desktop/libs/notebook/api/execute）。在这个方法中。执行的主要语句为response['handle'] = get_api(request, snippet).execute(notebook, snippet)在这句话中，首先使用get_api依照2步骤中获取指定类别的API。然后执行该接口中的execute方法。

SparkApi接口中的执行该方法，去操作notebook和snippet这两个对象。这两个对象是用于确定session的。

最终以api中的HttpClient发送post请求到livy服务器中，发送的url为

Session/{uuid}/statements。Uuid为session对象中的ID属性值；发送的Data对象为snippet中的statement的数据（也就是执行的语句）和notebook对象（包含了执行的properties）。

3.6执行期间被调用的其他接口

(1)当运行job时会调用 check_status接口（notebook/api/check_status）。

这样同样会通过rest接口请求livy服务器中的执行的一系列语句的结果。这是一个GET请求，返回状态。

如果状态为failed或者expire可能会抛出异常，需处理。

(2)fetch_result_data会返回当前session的所有执行的语句，以list进行展示。调用的接口为(notebook/api/fetch_result_data)。

以GET形式发送给Livy url为sessions/{session}/statements

(3)jobs接口（jobbrowser/views/jobs），获取有关于当前用户执行的job 的log日志。这是一个定时的任务接口，如果有任务正在进行中，会不断的向livy服务器发送请求获取当前session用户执行job的日志。从logs可以找出有哪些job_id，最终根据这些jobs获取job的详细信息，并返回。