hive中 join与where

原创 2016年06月01日 10:43:00

HiveQL与标准SQL的区别:

陷阱1:

SELECT * 
FROM first_table t1
JION second_table t2
ON t1.id = t2.id
where t1.date = "2016-06-01"

在hive里面,没有SQL优化器,则这样些的后果是,直接将t1表与t2表全量连接,产生大量的MapReduce操作再进行过滤

正确写法:

SELECT * 
FROM (
			SELECT *
			FROM first_table
			WHERE date = "2016-06-01")t1
JOIN second_table t2
ON t1.id = t2.id;


hive表在join on上的过滤和在where上过滤的对比

当两张表A和B在join时,条件筛选放在表join时的on上面和放在where上面得到的结果是不一样的。 如下创建两张表: A表结构以及数据:id name grade dept 1 ...
  • qq_20641565
  • qq_20641565
  • 2016年10月27日 21:20
  • 4456

hive join顺序影响的性能一例子

调整前跑完需要两个小时,调整后5分钟跑完 调整前HSQL: insert overwrite table dwd.game_cid_new partition(thisdate,ckey) sel...
  • u011750989
  • u011750989
  • 2015年09月22日 10:42
  • 1228

Hive.WHERE子句的“陷阱”

前天遇到这样一个场景:        Hive数据仓库里有一个用户访问日志表my_table,这个表对日期字段date (String类型)进行了分区。此外,这个表还有一个字段page_id(Int类...
  • mashroomxl
  • mashroomxl
  • 2014年03月26日 23:18
  • 13958

hive select where

Hive查询语言(HiveQL)是一种查询语言,Hive处理在Metastore分析结构化数据。本章介绍了如何使用SELECT语句的WHERE子句。 SELECT语句用来从表中检索的数据。 WHER...
  • licw_0909
  • licw_0909
  • 2017年01月14日 09:46
  • 789

Hadoop Hive sql语法详解

1. DDL Operations 创建表: hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段ds hive> CREATE ...
  • hguisu
  • hguisu
  • 2012年02月14日 09:37
  • 189412

on条件与where条件的区别

目录(?)[-] JOIN联表中ONWHERE后面跟条件的区别 数据库在通过连接两张或多张表来返回记录时,都会生成一张中间的临时表,然后再将这张临时表返回给用户。 ...
  • xiepeifeng
  • xiepeifeng
  • 2013年11月21日 10:35
  • 1350

Hive join on的不等条件实现方法

hql的join on操作只支持相等条件,比如:select * from a join b on a.id=b.id;但是不支持相等条件以外的情况,比如:select * from a join b...
  • qq_30485769
  • qq_30485769
  • 2016年12月02日 22:31
  • 3667

Hive sql语法:inner join on, left join on, right join on详细使用方法

inner join(等值连接) 只返回两个表中联结字段相等的行 left join(左联接) 返回包括左表中的所有记录和右表中联结字段相等的记录 right join(右联接) 返回包括右表...
  • xiaoshunzi111
  • xiaoshunzi111
  • 2017年02月09日 15:49
  • 4258

Hive-2.HiveQL查询中JOIN语句

Hive支持常用到的SQL JOIN语句,但是只支持等值连接。 4.1 INNER JOIN 内连接(INNER JOIN)中,只有进行连接的两个表中都存在与连接标准相匹配的数据才会展示出来。例如...
  • shenfuli
  • shenfuli
  • 2016年01月27日 11:26
  • 3044

SQL join,left join ,right join , inner join , outer join用法解析及HIVE join 优化

SQL join,left join ,right join , inner join , outer join用法解析及HIVE join 优化
  • cc18868876837
  • cc18868876837
  • 2016年11月07日 09:49
  • 2412
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hive中 join与where
举报原因:
原因补充:

(最多只允许输入30个字)