Hive
静静七分醉
该动手的年龄别只动脑
展开
-
Hive中存储json格式的数据
启动hadoopstart-all.sh启动hive./hive加载hcatalog包,此包已经包含在hive中add jar hive目录/hcatalog/share/hcatalog/hive-hcatalog-core-1.2.0.jar;准备一批json数据{"rate":"7.5","cover_x":2000,"title":"陪审员",...原创 2019-06-21 19:52:06 · 2102 阅读 · 0 评论 -
Hive窗口函数
目录1. 准备数据2. 函数2.1 sum(), min(),max(),avg()等聚合函数 ——求解窗口期内的数据的总和2.2新增加序号列Ntile, Row_Number(), Rank(), Dense_Rank()2.3lag, lead, first_value, last_value 错位2.4grouping set, cube, roll up1...原创 2019-08-03 18:37:01 · 408 阅读 · 0 评论 -
Hive文件格式-textfile,sequencefile,rcfile,orcfile, Parquet
目录概述hive文件存储格式包括以下几类一、TEXTFILE二、SEQUENCEFILE三、RCFile文件格式概述历史RCFile使用基于行存储的优点和缺点基于列存储的优点和缺点源码分析1. Writer2. appendRCFile的索引机制flushRecords的具体逻辑RCFile的Sync机制RCFileclose过程...原创 2019-08-04 16:09:43 · 8126 阅读 · 3 评论