理性谈谈Hue的优缺点
平时做数据开发用的比较多的是CDH的Hue,Hue提供了对接Hadoop平台的UI界面,可以对Hbase数据进行直接操作,执行Mapreducer任务时有可视化的执行界面,进行数据报表和Oozie定时任务,可以说还是非常的方便的。但是用久了就会发现Hue也有许多痛点。
-
数据表不能直接方便地导出Excel,降低了工作效率
-
UDF和函数支持较差,没有自带的数据分析常用UDF函数库,也没有Scala和Python的UDF支持。
-
缺少Job生命状态的进度展示,经常出现job提交后卡死也不知道是卡死在哪个阶段,还需要看日志才能分析出到底是哪个环节出了问题,这点Hue确实做的还不是很好。
开源新秀Scriptis
前不久微众银行的Fintech day开了,抱着对开源技术的尊重和期待,兴致冲冲的去会场看看有没自己感兴趣的开源项目。上午是基本的大会宣传介绍,到了下午就是去了开放平台的展会,了解到了一个最近开源出来的大数据平台开源套件Linkis和Scriptis,借机会介绍下吧。
Linkis是一个打通了多个计算存储引擎如:Spark、Flink、Hive、Python和HBase等,对外提供统一REST/WS/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的数据中间件。
Scriptis是一款支持在线写SQL、Pyspark、HiveQL等脚本,提交给Linkis执行的交互式数据分析Web