![](https://img-blog.csdnimg.cn/20200401212217374.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hive&Spark SQL总结
最近有了解这方面的一些知识,所以想从Saprk或Hive SQL的底层原理到实践,以及对应的调优策略做一个系统的总结。如有错误或不足,希望大家及时指出。
nobody~
这个作者很懒,什么都没留下…
展开
-
SQL中基于代价的优化
还记得笔者在上篇文章无意中挖的一个坑么?如若不知,强烈建议看官先行阅读前面两文-《SparkSQL Join原理》和《Join中竟然也有谓词下推?》第一篇文章主要分析了大数据领域Join的三种基础算法以及各自的适用场景,第二篇文章在第一篇的基础上进一步深入,讨论了Join基础算法的一种优化方案 – Runtime Filter,文章最后还引申地聊了聊谓词下推技术。同时,在第二篇文章开头,笔者引...转载 2020-04-05 17:31:08 · 1959 阅读 · 0 评论 -
Spark&HiveSQL中Join操作的谓词下推?
前言:SparkSQL和HiveSQL的Join操作中也有谓词下推?今天就通过大神的文章来了解下。同样,如有冒犯,请联系。正文上文简要介绍了Join在大数据领域中的使用背景以及常用的几种算法-broadcast hash join 、shuffle hash join以及sort merge join等,对每一种算法的核心应用场景也做了相关介绍,这里再重点说明一番:大表与小表进行join会使...转载 2020-04-03 21:12:28 · 1156 阅读 · 0 评论 -
SparkSQL之Join原理
文章目录前言:Join背景介绍Join常见分类以及基本实现机制Hash JoinBroadcast Hash JoinShuffle Hash JoinSort-Merge Join总结前言:写SQL的时候很多时候都有用到join语句,但是我们真的有仔细想过数据在join的过程到底是怎么样的吗?今天借这位大神的文章来交接下sql中join的原理。同样,如有冒犯,请联系。Join背景介绍Jo...转载 2020-04-02 21:46:30 · 4596 阅读 · 1 评论 -
SparkSQL-从0到1认识Catalyst
文章目录前言正文预备知识-Tree&RuleCatalyst工作流程ParserAnalyzerOptimizerSparkSQL执行计划前言这篇文章是转载一位大神的文章,为什么要转载的,实在是因为写的太经典了,所以忍不住希望能有更多的人可以看到。如有冒犯请联系我。正文最近想来,大数据相关技术与传统型数据库技术很多都是相互融合、互相借鉴的。传统型数据库强势在于其久经考验的SQL优化...转载 2020-04-01 22:01:34 · 589 阅读 · 0 评论