- 博客(4)
- 收藏
- 关注
RSS订阅原创 【数据库】HIVE SQL索引及其使用
最近在用一张8亿数据量表作为主表去关联一个千万量级的表时遇到一个问题，JOB运行的特别慢，而且大量的时间花费在了大表的查询上。如何解决这个问题，首先想到是不是由于数据偏移造成的，对应了各种数据偏移的场景，最后认定不是数据偏移造成的。那怎么办呢？后来想到用索引！由于对于索引不是特别了解，查了各种资料，这里做一个总结，加深对索引的理解。 HIVE中如何创建索引？第一步...
2019-04-16 21:55:58
8815
1
原创 【数据库】HIVE SQL -left join (on 和 where条件放置的区别)
在使用left join的过程中，总是遇到一个问题，就是将条件放在on中还是where条件中。在查过一些资料和实际操作后，总结了一下： 在多张表连接时，都会生成一张中间表，然后再将这张临时表返回给用户。 在用left join中，on和where条件的区别如下： （1）on条件是在生成中间表时使用的条件，它不管on中的条件是否为真，都会返回左表中的记录。...
2019-04-07 23:03:32
12016
2
原创 【数据库】HIVE SQL中join不支持非等值连接如何解决
小伙伴们在HIVE中写SQL时，会遇到一种情况，当我们想把不相等的情况拿出来时，无法直接写字段A<>字段B，否则会报错。那么，在工作中，有这样一个场景：我们想从一个订单表中，剔除测试用户的订单，该如何实现呢？select a.uid,a.orderid from table1 a --订单表 left join table2 b --测试用户id表 ...
2019-04-07 23:02:42
10443
1
原创 【数据库】HIVE SQL中两种日期的转换
工作中，经常遇到各种格式的日期形式，而且又需要进行关联操作，这个时候怎么办呢？之前每次都是用到的时候各种查资料。这次就总结一下，相关函数，后期不定时持续更新~Exp1：'2018/11/5'和'2018-11-05'两种类型的进行日期关联？这时，就用到大家常用的函数：unix_timestamp在日常使用时，可能都用来取时间戳了，比如：select unix_time...
2019-04-07 23:02:09
10442
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人