hive
大爵爷
这个作者很懒,什么都没留下…
展开
-
数据立方体-Hive Cube
目录1. 数据立方体2. OLAP的基本操作3. Hive Cube3.1 with cube1. 数据立方体数据立方体是一种对多维的数据模型的描述方式。立方体只是三维的,但是实际数据中不仅仅是三维,可能是四维,五维的。如上图,数据可以从三个维度查询,这样更方便解读数据。2. OLAP的基本操作OLAP的多维分析操作包括:钻取(Drill-down)、上卷(Roll-up)、切片(Slice)、切块(Dice)以及旋转(Pivot),下面还是以上面的数据立方体为例来逐一解释下:1)钻取(Dr原创 2020-08-09 10:26:36 · 9541 阅读 · 3 评论 -
HIVE-文件存储格式
文件存储格式Hive 支持的存储数的格式主要有:TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。TEXTFILE: 就是txtPARQUET和ORC在生产中用的多点。PARQUET是spark使用的格式。...原创 2019-12-30 00:12:47 · 118 阅读 · 0 评论 -
Hive-自定义函数
系统函数返回 所有自带的函数show functions返回对该函数的解释desc function spilt 返回对该函数的使用例子desc function extended split 自定义函数1. UDF:user-defined function datediff, date_format 等函数 一进一出3. UDAF:user-defined ...原创 2019-12-29 23:25:56 · 77 阅读 · 0 评论 -
Hive-排名函数详解
排名函数也需要和over搭配使用, 是窗口函数。rank:排名相同时会重复,总数不变;dense_rank:排名相同时会重复, 总数会减少row_number: 会根据顺序计算number rank dense_rank row_number100 1 1 1100 1 1 299 3 2 398 4 3 4select name, subjec...原创 2019-12-29 16:11:14 · 436 阅读 · 0 评论 -
Hive-窗口函数详解
select a, count(*)from tablenamegroup by b 这样是错误的,因为a不在聚合函数里面, 也不再group by里面 再举例: select model_id, count(*) from ( select * from table_name where pt='2019-12-25' limit 10 ) aa 报错信息:o...原创 2019-12-29 00:59:01 · 1137 阅读 · 0 评论 -
HIVE-笔记
加载数据:load data inpath “/daya/dataload//ids.csv” into table bit.name PARTITION(dt=“2019-03-06”);desc formatted 表名/ desc 表名原创 2019-12-16 17:00:24 · 164 阅读 · 0 评论 -
Hive-课程
hive 基础知识hive是一个分析框架,用于解决海量结构化日志的数据统计工具。给予hadoop的数据仓库工具。将结构化的数据映射为一张表,并且用sql查询。本质是将hql提交给yarn,转换为mapreduce任务。hive处理的数据存储在hdfs上。hive分析数据底层是mr程序。执行的程序在yarn上, 进行资源分配。hive优点:类sql, 易上手避免写mr延迟高...原创 2019-12-10 17:17:23 · 340 阅读 · 0 评论