Livy
疯狂呼呼呼
小鸟也有梦想
展开
-
初识livy
背景介绍 对于Spark有这样一个应用场景:Spark应用程序都是通过spark-submit进行提交的;而在工作当中,肯定是要将我们的spark-submit封装到shell里面去的,比如:今天凌晨去处理昨天的数据,肯定是需要获取到date,然后做 date - 1 操作(当前天数减1就是昨天了),之后配置crontab,把shell脚本配置上去,每天凌晨定时执行就行了,或者采用azkaban、...原创 2018-10-31 01:34:46 · 2224 阅读 · 0 评论 -
Livy简单使用 & 架构解读
Livy使用 —— 关于Session的操作 官网案例:http://livy.incubator.apache.org/examples/ REST API:http://livy.incubator.apache.org/docs/latest/rest-api.html 通过REST API的方式去获取到session,返回活的交互式session 打开Postman,在其上面进行操作: G...原创 2018-11-10 02:26:03 · 10935 阅读 · 5 评论 -
Livy安装&部署
官网 http://livy.incubator.apache.org/get-started/ Download [hadoop@hadoop001 software]$ wget http://mirrors.hust.edu.cn/apache/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip [hadoop@hado...原创 2018-11-05 01:14:28 · 4038 阅读 · 0 评论