(08)Hive——Join连接、谓词下推_hive join是内连接吗(3)

最新推荐文章于 2024-09-08 18:21:03 发布
最新推荐文章于 2024-09-08 18:21:03 发布
阅读量826 收藏 18
点赞数 16
分类专栏： 2024年程序员学习 文章标签： hive hadoop 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_79097795/article/details/137639671
版权 

select
    t1.user_id,
    t1.name,
    t1.gender,
    t2.user_id,
    t2.subject,
    t2.score
from studentInfo t1
 full  join studentScore t2
   on t1.user_id = t2.user_id;

ps：full join 本质等价于 left join union  right join;

select
    t1.user_id,
    t1.name,
    t1.gender,
    t2.user_id,
    t2.subject,
    t2.score
from studentInfo t1
 full  join studentScore t2
   on t1.user_id = t2.user_id;

----- 等价于下述代码

select
    t1.user_id as t1_user_id ,
    t1.name,
    t1.gender,
    t2.user_id as  t2_user_id,
    t2.subject,
    t2.score
from studentInfo t1
 left  join studentScore t2
   on t1.user_id = t2.user_id
union
select
    t1.user_id as t1_user_id ,
    t1.name,
    t1.gender,
    t2.user_id as t2_user_id,
    t2.subject,
    t2.score
from studentInfo t1
 right  join studentScore t2
   on t1.user_id = t2.user_id

1.5 多表连接

注意：连接
n
个表，至少需要
n-1
个连接条件。例如：连接三个表，至少需要两个连接

条件。
**join on使用的key有几组就会被转化为几个MR任务，**使用相
同的key来连接，则只会被转化为1个MR任务。

1.6 cross join 交叉连接

交叉连接cross join，将会返回被连接的两个表的笛卡尔积，返回结果的行数等于两个表行数的乘积 N*M。对于大表来说，cross join慎用（笛卡尔积可能会造成数据膨胀）

在SQL标准中定义的cross join就是无条件的inner join。返回两个表的笛卡尔积,无需指定关联 键。
  在HiveSQL语法中，cross join 后面可以跟where子句进行过滤，或者on条件过滤。

---举例：
select
    t1.user_id as t1_user_id ,
    t1.name,
    t1.gender,
    t2.user_id as t2_user_id,
    t2.subject,
    t2.score
from studentInfo t1, studentScore t2

--- 等价于：
select
     t1.user_id as t1_user_id ,
     t1.name,
     t1.gender,
     t2.user_id as t2_user_id,
     t2.subject,
     t2.score
from studentInfo t1
 join studentScore t2

---等价于：
select
     t1.user_id as t1_user_id ,
     t1.name,
     t1.gender,
     t2.user_id as t2_user_id,
     t2.subject,
     t2.score
from studentInfo t1
 cross  join studentScore t2

1.7 join on和where条件区别

两者之间的区别见文章：
Hive中left join 中的where 和 on的区别-CSDN博客文章浏览阅读1.2k次，点赞21次，收藏23次。Hive中left join 中的where 和 on的区别外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传https://blog.csdn.net/SHWAITME/article/details/135892183?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522170780016016800197016026%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=170780016016800197016026&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2blogfirst_rank_ecpm_v1~rank_v31_ecpm-1-135892183-null-null.nonecase&utm_term=where&spm=1018.2226.3001.4450

1.8 join中不能有null

  • group by字段为null，会导致结果不正确（null值也会参与group by 分组）
group by column1
  • join字段为null会导致结果不正确(例如：下述 t2.b字段是null值)
t1 left join t2 on t1.a=t2.a and t1.b=t2.b

1.9 join操作导致数据膨胀

select *
from a 
left join b 
on a.id = b.id

如果主表a的id是唯一的，副表b的id有重复值，非唯一，那当on a.id = b.id 时，就会导致数据膨胀（一条变多条）。因此两表或多表join的时候，需保证join的字段唯一性，否则会出现一对多的数据膨胀现象。

二、Hive的谓词下推

2.1 谓词下推概念

在不影响结果的情况下，尽量将过滤条件提前执行。谓词下推后，过滤条件在map端执行，减少了map端的输出，降低了数据在集群上传输的量，提升任务性能。

在hive生成的物理执行计划中，有一个配置项用于管理谓词下推是否开启。

set hive.optimize.ppd=true; 默认是true

疑问：如果hive谓词下推的功能与join同时存在，那下推功能可以在哪些场景下生效？

2.2 谓词下推场景分析

数据准备：以上述两张表studentInfo、studentScore为例

查看谓词下推是否开启：set hive.optimize.ppd;

(1) inner join 内连接
  • 对左表where过滤
 explain
select
    t1.user_id as t1_user_id,
    t1.name,
    t1.gender,
    t2.user_id as t2_user_id,
    t2.subject,
    t2.score
from studentInfo t1
    inner join studentScore t2 on t1.user_id = t2.user_id
where t1.user_id >2

explain查看执行计划，在对t2表进行scan后，优先对t1表进行filter，过滤t1.user_id >2，即谓词下推生效。

  • 对右表where过滤
 explain
select
    t1.user_id as t1_user_id,
    t1.name,
    t1.gender,
    t2.user_id as t2_user_id,
    t2.subject,
    t2.score
from studentInfo t1
    inner join studentScore t2 on t1.user_id = t2.user_id
where t2.user_id is not null

explain查看执行计划，在对t2表进行scan后，优先进行filter，过滤t2.user_id is not null，即谓词下推生效。

  • 对左表on过滤
explain
select
    t1.user_id as t1_user_id,
    t1.name,
    t1.gender,
    t2.user_id as t2_user_id,
    t2.subject,
    t2.score
from studentInfo t1
    inner join studentScore t2 on t1.user_id = t2.user_id and t1.user_id >2

explain查看执行计划，在对t2表进行scan后，优先对t1表进行filter，过滤t1.user_id >2，即谓词下推生效。

  • 对右表on过滤
 explain
select
    t1.user_id as t1_user_id,
    t1.name,
    t1.gender,
    t2.user_id as t2_user_id,
    t2.subject,
    t2.score
from studentInfo t1
    inner join studentScore t2 on t1.user_id = t2.user_id and t2.user_id is not null

explain查看执行计划，在对t2表进行scan后，优先进行filter，过滤t2.user_id is not null，即谓词下推生效。

(2) left join（right join 同理）
  • 对左表where过滤
explain
select
    t1.user_id,
    t1.name,
    t1.gender,
    t2.user_id,
    t2.subject,
    t2.score
from studentInfo t1
 left  join studentScore t2
   on t1.user_id = t2.user_id
where t1.user_id >2;

explain查看执行计划，在对t2表进行scan后，优先对t1表进行filter，过滤t1.user_id >2，即谓词下推生效。

  • 对右表where过滤
explain
select
    t1.user_id,
    t1.name,
    t1.gender,
    t2.user_id,
    t2.subject,
    t2.score
from studentInfo t1
 left  join studentScore t2
   on t1.user_id = t2.user_id
where t2.user_id is not null;

explain查看执行计划，在对t2表进行scan后，优先进行filter，过滤t2.user_id is not null，即谓词下推生效。 

  • 对左表on过滤
explain 
select
    t1.user_id as t1_user_id,
    t1.name,
    t1.gender,
    t2.user_id as t2_user_id,
    t2.subject,
    t2.score
from studentInfo t1
   left join studentScore t2
     on t1.user_id = t2.user_id and t1.user_id >2

explain查看执行计划，在对t2表进行scan后，在对t1表未进行filter，即谓词下推不生效。

  • 对右表on过滤
explain
select
    t1.user_id as t1_user_id,
    t1.name,
    t1.gender,
    t2.user_id as t2_user_id,
    t2.subject,
    t2.score
from studentInfo t1
   left join studentScore t2
     on t1.user_id = t2.user_id and t2.user_id is not null;

explain查看执行计划，在对t2表进行scan后，优先进行filter，过滤t2.user_id is not null，即谓词下推生效。

(3) full join
  • 对左表where过滤
explain 
select
     t1.user_id as t1_user_id,
     t1.name,
     t1.gender,
     t2.user_id as t2_user_id,
     t2.subject,
     t2.score
from studentInfo t1
 full  join studentScore t2
   on t1.user_id = t2.user_id
where  t1.user_id >2 ;

explain查看执行计划，在对t2表进行scan后，优先对t1表进行filter，过滤t1.user_id >2，即谓词下推生效。

  • 对右表where过滤
explain
select
     t1.user_id as t1_user_id,
     t1.name,
     t1.gender,
     t2.user_id as t2_user_id,
     t2.subject,
     t2.score
from studentInfo t1
 full  join studentScore t2
   on t1.user_id = t2.user_id
where  t2.user_id is not null

explain查看执行计划，在对t1 表进行scan后，优先进行filter，过滤t2.user_id is not null，即谓词下推生效。

  • 对左表on过滤
explain
select
     t1.user_id as t1_user_id,
     t1.name,
     t1.gender,
     t2.user_id as t2_user_id,
     t2.subject,
     t2.score
from studentInfo t1
 full  join studentScore t2
   on t1.user_id = t2.user_id and t1.user_id >2;


**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/de79a7bad20e6ed5b3ad7a11d6ea43de.png)
![img](https://img-blog.csdnimg.cn/img_convert/933158de0a471a8e03a1b0bb020236e6.png)
![img](https://img-blog.csdnimg.cn/img_convert/bb936b5b6fc0d4f1a33f958b785acae8.png)
![img](https://img-blog.csdnimg.cn/img_convert/286d03aad3b8df2fdefdb03a46e41cda.png)
![img](https://img-blog.csdnimg.cn/img_convert/6e39fe039752d07412491b48fe743157.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
![img](https://img-blog.csdnimg.cn/img_convert/be741be3db367a8bf4ecc5abaf986111.png)

2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
[外链图片转存中...(img-3z7E45Gt-1712818761280)]
[外链图片转存中...(img-YaGbm1YL-1712818761280)]
[外链图片转存中...(img-NGVmnJXd-1712818761281)]
[外链图片转存中...(img-veihlQbp-1712818761281)]
[外链图片转存中...(img-qD6Obz35-1712818761281)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
[外链图片转存中...(img-YvneUJPs-1712818761281)]
2301_79097795
关注
  • 16
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数仓工具—Hive进阶之谓词下推(12)
11-23 6万+
谓词下推 听到谓词下推这个词，是不是觉得很高大上，找点资料看了半天才能搞懂概念和思想，借这个机会好好学习一下吧。 首先我们要了解什么是谓词。谓词，用来描述或判定客体性质、特征或者客体之间关系的词项。也就是判断什么是什么或者不是什么的词。 在SQL中，谓词就是返回boolean值即true和false的函数，或是隐式转换为boolean的函数。SQL中的谓词主要有 LKIE、BETWEEN、IS NULL、IS NOT NULL、IN、EXISTS、=、！= 谓词下推的两个层面 引用范欣欣大佬的博客中写道，以
Hive谓词下推
Java/Python大数据成长之路
11-06 781
谓词下推（Predicate Pushdown，PPD）是指将过滤表达式尽可能移动至靠近数据源的位置，以使真正执行时能直接跳过无关的数据。简而言之，就是在合适的场景下，优先执行过滤条件。
(08)Hive——Join连接、谓词下推
爱吃辣条的博客
02-13 2492
Hive的Join连接
【大数据】SparkSql连接查询中的谓词下推处理(一)
weixin_34217773的博客
05-23 157
本文首发于 vivo互联网技术 微信公众号 mp.weixin.qq.com/s/YPN85WBNc…作者：李勇目录：1.SparkSql2.连接查询和连接条件3.谓词下推4.内连接查询中的谓词下推规则4.1.Join后条件通过AND连接4.2.Join后条件通过OR连接4.3.分区表使用OR连接过滤条件1.SparkSqlSparkSql 是架构在 Spark 计算框架之上的分布式 Sql 引擎...
对谓词下推的一点看法
zhy_2117的博客
06-11 1502
谓词下推 1. 谓词下推概念 谓词下推原本是一个关系型数据库中的词语，优化关系 SQL 查询的一项基本技术是，将外层查询块的 WHERE 子句中的谓词移入所包含的较低层查询块（例如视图），从而能够提早进行数据过滤以及有可能更好地利用索引。 2. Hive谓词下推(Predicate pushdown): Hive谓词下推这个词是从关系型数据库借鉴来的，即使对Hive对来说相当于谓词上推。 谓词下推的基本思想：尽可能早的处理表达式(expressions)，默认产生的执行计...
Hive中的join连接
qq_30869661的博客
01-06 307
内连接 内连接查询的结果：两表的交集(公共部分)。 隐式内连接 语法： select 列名 , 列名 … from 表名1,表名2 where 表名1.列名 = 表名2.列名; select * from a,b where a.id = b.id; 举例： select * from a,b where a.列名 = b.列名 在产生两张表的笛卡尔积的数据后，通过条件筛选出正确的结果。 显式内...
Hive第三天——Hive使用（二）（join语句）
你怎么回事
09-25 395
文章部分参考自：https://blog.csdn.net/qq_23897391/article/details/92636509 Hive第三天——Hive使用 自己的话：黑发不知勤学早，白首方悔读书迟 每天都要保持前进，我势必要有强劲的实力，再跟明天的自己问好。 一、DML 1.插入单条数据到表中 hive> insert into table t_seq values('10','...
hive高级分析函数与优化.rar_hive_hive 函数优化_hive 分析 大数据_hive高级优化_oldwlc
09-23
谓词下推是将查询条件提前到数据读取阶段，减少无效数据的处理；计算下推则是将计算任务推送到数据源节点，减少数据传输和计算压力。 3. **Hive大数据分析**： 在大数据环境下，Hive通过分布式计算模型处理PB级别...
一文详解Hive的谓词下推
java_atguigu的博客
02-22 1234
谓词，是指用来描述或判断客体性质、特征或客体之间关系的词项。在SQL中即返回值为布尔值的函数。 谓词下推，在Hive中叫Predicate Pushdown，含义是指在不影响结果的前提下，尽量将过滤条件提前执行，使得最后参与join的表的数据量更小。谓词下推后，过滤条件将在map端提前执行，减少map端输出，降低了数据传输IO，节约资源，提升性能。大数据培训在Hive中通过配置hive.optimize.ppd参数为true，开启谓词下推，默认为开启状态。 一、表的分类 首先定义一下参与join的
谓词下推在hive中的含义
无声的博客
01-24 316
什么是谓词？ 谓词下推概念中的谓词指返回bool值即true和false的函数，或是隐式转换为bool的函数： 如SQL中的谓词主要有 LKIE、BETWEEN、IS NULL、IS NOT NULL、IN、EXISTS。 如Spark中的input.filter(x=> x >= 5) 什么是谓词下推？ 将过滤表达式尽可能移动至靠近数据源的位置，以使真正执行时能直接跳过无关的数据。 谓词下推在hive中的含义 Hive中的Predicate Pushdown简称谓词下推，主要思想是把过滤条件下
hive sql 谓词下推
08-25
无论在Hive中是否开启了CBO（Cost-Based Optimizer），无论谓词写在ON后面还是WHERE后面，内连接（Inner Join）都会进行谓词下推。 在Hive中，谓词下推也称为Predicate Pushdown。它的实现方式是在map端提前执行...
hive入门
iku_n的博客
09-08 1093
打开：命令提示符程序，输入mysql -uroot -p 回车查看数据库使用数据库use 数据库名称;创建数据库删除数据库查看当前使用的数据库查看当前use的数据库。
Hive服务部署及Datagrip工具使用
qq_45115959的博客
09-04 1516
目录Hive服务部署 Hiveserver2服务1）用户说明2）Hiveserver2部署（1）Hadoop端配置（2）Hive端配置3）测试（1）启动Hiveserver2（2）使用命令行客户端beeline进行远程访问（3）使用Datagrip图形化客户端进行远程访问① 创建连接② 配置连接属性③ 界面介绍④ 测试SQL执行⑤ 修改数据库 Metastore服务1）Metastore运行模式2）Metastore部署（1）嵌入式模式（2）独立服务模式3）测试 编写Hive服务启动脚本（了解）1）前台启动
Hive数据库与表操作全指南
qq_45115959的博客
09-05 1411
创建一个数据库，不指定路径注：若不指定路径，其默认路径为创建一个数据库，指定路径创建一个数据库，带有。
Hive的优势与使用场景
Casual_Lei的博客
09-07 682
Hive 的优势在于能够有效管理和分析大规模的结构化和半结构化数据，特别是在需要扩展性、灵活性和与 Hadoop 生态系统集成的场景下。它对 SQL 开发人员友好，并提供了适合大规模数据分析的功能，如分区、分桶和高效的数据存储格式。批量处理大规模数据。处理非实时、低延迟要求的数据分析任务。日志分析、数据聚合和报表生成。建立数据仓库，进行大规模数据的存储与管理。执行 ETL（Extract, Transform, Load）任务。
Hive时间窗口函数保姆级教程（最全解析、应用和优化）（持续更新）
大模型大数据攻城狮的专栏
09-05 942
时间窗口函数在SQL查询中扮演着特殊而重要的角色，它们被专门设计用于处理时间序列数据相关的查询。这类函数通过设定一个特定的时间窗口，允许用户在这个时间范围内对数据进行各种操作，如聚合、排序或深入分析等。这些操作的目的在于揭示数据随时间推移而展现出的变化趋势或内在特性。在处理时间序列数据时，时间窗口函数的价值无可替代，它们为数据分析和挖掘工作提供了强大的支持。时间序列数据，顾名思义，是按时间顺序排列的数据，这类数据在各个领域都有广泛的应用，如金融市场分析、气候变化研究、销售趋势预测等。
一. 从Hive开始
weixin_45032905的博客
09-04 1069
总结，大数据背景下，hdfs看起来想一个无限大的存储空间，mapreduce的思想充分利用所有的cpu和内存。所以hive中的一个核心模块就是metastore， 用来存储结构化的信息，也就是“数据的数据”，其实也是借用了传统文件系统的“metaData”（元数据）的概念。是一种特殊的语法，主要搭配UDTF类型函数一起使用，用于解决UDTF函数的限制（也即是爆炸的虚表没有和原表进行连接）然后hive的执行引擎会将sql进行语法分析，生成语法树，然后生成mapreduce程序，进行数据的计算工作。
Hive中的分区表与分桶表详解
最新发布
qq_45115959的博客
09-08 937
不过，并非所有的数据集都可形成合理的分区。分桶表的基本原理是，首先为每行数据计算一个指定字段的数据的 hash 值，然后模以一个指定的分桶数，最后将取模运算结果相同的行，写入同一个文件中，这个文件就称为一个分桶（bucket）。动态分区的模式，默认 strict（严格模式），要求必须指定至少一个分区为静态分区，nonstrict（非严格模式）允许所有的分区字段都使用动态分区。命令后，分区元数据会被删除，而 HDFS 的分区路径不会被删除，同样会导致 Hive 的元数据和 HDFS 的分区路径不一致。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值