通过API远程调用Hue

sun_xo

已于 2022-12-24 16:49:06 修改

阅读量968

点赞数

文章标签：大数据 Hue django

于 2022-12-22 15:31:50 首次发布

本文链接：https://blog.csdn.net/sun_xo/article/details/128408459

版权

“HUE（Hadoop User Experience）是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。通过使用HUE可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据。用户可以利用HUE采用图形化的界面来操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览Hbase数据库，操作Oozie、Sqoop、flume等”

Hue是一个功能强大且易于使用的工具，不过工作中偶尔会有一些批处理方面的需求，这时通过界面操作会显得比较麻烦，如果能通过API来直接调用Hue的功能就比较方便了，比如对以下对象的管理和操作：

- Hdfs文件和目录
- Oozie工作流文档
- Yarn和Oozie的job
- Rdbms和Hive中的表
- Hue本身的用户/组

Hue本身基于Django框架，采用MTV模式，类似于Web服务器开发领域里的MVC模式，所谓MVC就是把Web应用分为模型(M)、控制器(C)和视图(V)三层，之间以一种组件式的、松耦合的方式连接在一起：

模型 (Model) - 负责业务对象与数据库的映射(ORM)
视图 (View) - 视图负责与用户的交互(页面)
控制器 (Controller) – 接受用户的输入调用模型和视图完成用户的请求

Django的MTV模式本质上与MVC相同，也分为三层：

模型(Model) - 负责业务对象和数据库的关系映射(ORM)
模板 (Template) - 负责如何把页面展示给用户(html或其它模板语言)
视图 (View) - 负责业务逻辑，并在适当时候调用Model和Template

可以看出Django的MTV中的Template和View分别对应于MVC中的View和Controller，同时Django还有一个URL分发器，用于向不同的View分发的页面请求，View根据所需调用相应的Model进行数据处理，然后将结果传给Template进行显示

MTV可以满足通过界面操作Hue/Django的需求，但远程API调用显然不能使用这种模式，而只能采用前后端分离的模式——这里后端依然是Hue，前端就不一定是浏览器了，比如可能是postman或者python脚本——前端向Hue发起请求，URL分发器分发至View处理，View处理完数据后，不再将结果传给Template，而是返回给前端，后端遵循restful规范开发API，与前端进行数据交互，实现多端应用

所以理论上针对所感兴趣的功能点，你只需找到它在View层中的实现，采用前后端分离的办法，将相关代码封装进restful风格的API中，再注册到URL分发器，之后就可以供前端调用了。这里以远程登录为例描述这个开发过程，当然这也是首当其冲要解决的，至于其它功能点的实现都可以采取类似的方式

Hue的登录涉及Django中的反CSRF（跨站请求伪造）机制，在原MTV模式下，登录过程分为两步：

用户用Get命令取得登录表单到浏览器
用户用Post命令送出填好的表单进行登录操作

在第一步，Django的Csrf中间件生成两个同源的token：一个在发给浏览器的表单里，名为csrfmiddlewaretoken，是个隐藏类型字段，只能从页面的HTML源码中看到，另一个是csrftoken，和sessionid一起放在cookie里发给浏览器；在第二步，用户在表单中填好用户名和密码后，Post表单会带回两个token，Csrf中间件将校验它们的一致性，如登录成功则生成一组新的csrftoken和sessionid，并设置到浏览器的cookie中，此后浏览器即处于登录状态

而前后端分离后， Hue的View层不再返回到Template层，而是直接返回到前端，这里需要修改View层处理，增加一个能返回json而非页面的分支与前端交互。比如第一步前端可通过Get命令从后端返回的json串中得到两个token，同时还可从cookie中得到sessionid；第二步中再通过Post命令将上述信息和用户名/密码送回后端：其中csrftoken/sessonid放在cookie里，csrfmiddlewaretoken可放在表单里，也可以X-CSRFToken为名称放在headers里，如果后端处理正常，前端将从后端返回的json串得到一组新的csrftoken/sessionid，登录过程结束。此后前端可以利用该csrftoken/sessionid向Hue发起其它restful调用。相应地，前端也可以利用该csrftoken/sessionid（放入cookie里）做登出操作，登出后该csrftoken/sessionid失效

前端登录脚本示例——by python

def login(host: str, username: str, password: str) -> dict:
    url = "http://" + host + ":8000/hue/accounts/login"
    headers = {
        'Response-type': 'application/json',
    }
    response = request("GET", url, headers=headers)
    response.raise_for_status()
    dic = json.loads(response.text)
    dic['sessionid'] = response.cookies.get('sessionid')
    # print(dic)

    payload = {
        'username': username,
        'password': password,
        'next': '/'
        # 'csrfmiddlewaretoken': dic['csrfmiddlewaretoken']
    }
    headers = {
        'Response-type': 'application/json',
        'Cookie': 'csrftoken={}; sessionid={}'.format(dic['csrftoken'], dic['sessionid']),
        'X-CSRFToken': dic['csrfmiddlewaretoken']
    }
    response = request("POST", url, headers=headers, data=payload)
    response.raise_for_status()
    return json.loads(response.text)

返回结果示例

csrftoken=SOiZ143asaLVNG9hxcudnP1rn9gUixAhWIRnCvHh01lmMEC9YgoS5CRKKNOmgeZ9; sessionid=j0m6t1u3o0b15xsr604hllmcifm2n8gi

前端登出脚本示例——by python

def logout(host: str, cookie: str) -> dict:
    url = "http://" + host + ":8000/hue/accounts/logout"
    headers = {
        'Response-type': 'application/json',
        'Cookie': cookie
    }
    response = request("GET", url, headers=headers)
    response.raise_for_status()
    return json.loads(response.text)