![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SQL
文章平均质量分 63
菜菜雪丫头
这个作者很懒,什么都没留下…
展开
-
【SparkSQL小文件的处理方式】
SparkSQL小文件的处理方式(选第三种方式即可解决)自适应执行社区在Spark2.3版本之后的AdaptiveExecute特性之中就能很好的解决Partition个数过多导致小文件过多的问题. 通过动态的评估Shuffle输入的个数(通过设置spark.sql.adaptive.shuffle.targetPostShuffleInputSize实现), 可以聚合多个Task任务, 减少Reduce的个数 。使用方式:set spark.sql.adaptive.enabled=truese原创 2022-03-28 16:07:32 · 3230 阅读 · 1 评论 -
SQL join关键字
join 用于根据两个或多个表中的列之间的关系,从这些表中查询数据。join主要是分为以下几种:INNER JOIN:如果表中有至少一个匹配,则返回行 LEFT JOIN:即使右表中没有匹配,也从左表返回所有的行 RIGHT JOIN:即使左表中没有匹配,也从右表返回所有的行 FULL JOIN:只要其中一个表中存在匹配,则返回行然后我主要记录一下多个查询的join的格式如下:select *from( select s_id from student wh原创 2021-09-03 16:05:23 · 320 阅读 · 0 评论