Hive
福龙楼主
这个作者很懒,什么都没留下…
展开
-
Oozie workflow.xml 视图解析
workflow.xml用于配置workflow任务动作,当job的脚本较多,解读起来比较困难,并且出现并发的时,解析就更困难了。近期在做hadoop的旧job的优化,涉及比较多Job,其中大多数,都是其他同事开发的,而workflow的解读又工作过程中不得不面对的繁琐工作。于是闲暇之余,写了一个workflow.xml文件解析工具:输入job的名称,能显示该job的流程图。原创 2016-12-25 14:51:51 · 3542 阅读 · 2 评论 -
Hive的三种存储格式
准确的来说,Hive是一个将Hive SQL的解释、编译成Hadoop MapReduce任务的工具。数据存储在Hdfs上,默认支持三种文件格式:TEXTFILE、SEQUENCEFILE、RCFILE(允许自定义格式)。其中TEXTFILE和SEQUENCEFILE都是基于行存储的,RCFILE基于行列混合存储(按行把数据分成多个row group,在row group中对每个列分别进行存储原创 2017-12-06 16:33:01 · 1155 阅读 · 0 评论