![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
文章平均质量分 93
慢点走
这个作者很懒,什么都没留下…
展开
-
hive中,cluster by为什么会出现?有什么意义?有什么用处?有什么应用场景?
前段时间,因为项目原因,了解了cluster by,顺路写了一篇博客:HIVE中,cluster by有什么意义。然后底下有人回复:假如100个专业分了10个区,那么每一个区里都应该会有不同的专业。但反过来说,真正的mr 并没有完全按专业分区,如果完全的话那应该是100个区。问题是结果只有10个区,这么做意义的结果总结一下应该是:cluster by 的字段只是参原创 2021-05-20 23:00:47 · 6529 阅读 · 11 评论 -
hive中,如何格式化timestamp?如何将timestamp类型的字段转化为指定格式的字符串?
hive中的时间类型有两种:date 和 timestamp。date只存储日期,timestamp则存储纳秒级别的时间戳。当需要存储小时及更精细的时间的时候,就只能使用timestamp了。 然而在实践中,发现一个问题,存好存,但是取不好取。原创 2020-12-17 22:33:57 · 12468 阅读 · 0 评论 -
用join实现交集,并集,差集,补集的效果
sql集合运算的关键字 sql中,对于集合的计算有:并集、差集、交集。 并集:union,union all 差集:EXISTS,not in,except &...原创 2020-04-09 17:48:16 · 7849 阅读 · 2 评论 -
leetcode - 数据库 - 180. 连续出现的数字 --- 以及这道题中的一些坑,以及使用hive -- over()函数的答案。
原题:https://leetcode-cn.com/problems/consecutive-numbers/ 编写一个 SQL 查询,查找所有至少连续出现三次的数字。+----+-----+| Id | Num |+----+-----+| 1...原创 2020-04-02 10:54:54 · 450 阅读 · 0 评论 -
数仓入门基础 - 数仓建模
使用hive时很容易接触到数仓建模,数仓建模是一个数仓工程师需要的必备的能力。优秀的分层设计能够让整个数据体系更易理解和使用。想要做数仓,需要补一补数仓分层,才能知道分层的意义。 分层很重要,说一下我的理解。一、 分层基础1.理清业务数据 ...原创 2020-03-27 10:20:18 · 1482 阅读 · 3 评论 -
hive 常用数据分析指标 - 网页访问数据指标 - 用户活跃度指标 - 付费行为指标
文章目录一、网页访问数据指标1. UV (UniqueVisitor)独立访客2. PV(Page View)网页浏览量3.(Internet Protocol)独立IP4. BR(Bounce Rate)跳失率二、用户活跃类数据统计指标1.RU(registered users)注册用户2.AU(Active users)活跃用户3.DAU(Daily Active User)日活跃用户4.MA...原创 2020-03-26 22:04:29 · 2040 阅读 · 0 评论 -
关于:linux重启后,hadoop中的表文件存在,但是hive中的表和库却不存在了的解决办法
最近想练练hive,就整了个linux的虚拟机,然后配置了单机的hadoop,下载了hive,在里面建了一个test库,库里建了几张表。 虚拟机因为点问题,强制重启了一下。重启以后,进入hive,show databases; ...原创 2020-03-23 00:23:28 · 1383 阅读 · 0 评论 -
HIVE中,cluster by有什么意义
文章目录1. cluster by 是什么?2. cluster by有什么意义?1. cluster by 是什么? 如果想彻底了解:HIVE中,order by、sort by、 distribute by和 cluster by的区别,请查看HIVE中,order by、sort by、 distribute by和 ...原创 2020-03-18 21:32:40 · 15307 阅读 · 5 评论 -
HIVE中,order by、sort by、 distribute by和 cluster by区别,以及cluster by有什么意义
文章目录1. oreder by2. sort by3. distribute by4. cluster by5. cluster by有什么意义?1. oreder by 主要是做全局排序。 只要hive的sql中指定了order by,那么所有的数据...原创 2020-03-18 21:22:44 · 5697 阅读 · 8 评论 -
Hive中,同时存在map、array、struct,建表语句应该怎么指定分隔符?
文章目录 Hive中存在map、array、和struct格式,那如果同时存在这三种格式时,建表语句的分隔符应该怎么指定呢? 一、 先说答案 先说答案:create table t...原创 2020-03-17 13:04:42 · 1661 阅读 · 1 评论