[Spark SQL基础]-- 基本语法之 select [hints ...]

最新推荐文章于 2024-07-03 07:15:00 发布

往事随风ing

最新推荐文章于 2024-07-03 07:15:00 发布

阅读量2.9k

点赞数 2

分类专栏： Spark 文章标签： spark sql hints

本文链接：https://blog.csdn.net/high2011/article/details/90489028

版权

Spark 专栏收录该内容

133 篇文章 10 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文探讨了Spark SQL中的select基本语法结构，并详细介绍了hints的来源、语法、选项及其在实际操作中的组合应用，如mapjoin、repartition与coalesce在特定场景下的使用。内容基于Spark 2.4.5版本，提供了多个参考资料链接，帮助读者更全面地理解Spark SQL的性能优化策略。

摘要由CSDN通过智能技术生成

背景

今天偶然有机会看见了以前一位同学在 join 中使用了 mapjoin 小表广播的优化，由此激起了我对 select 语法中的 hints 部分的深入挖掘，并分享出来，供小伙伴们参考，不足之处，还望赐教！

注：本文基于 spark 2.4.5，最新版本的 spark 可能会有 api 变化。

内容

1 select 基本语法结构

SELECT [hints, ...] [ALL|DISTINCT] named_expression[, named_expression, ...]
  FROM relation[, relation, ...]
  [lateral_view[, lateral_view, ...]]
  [WHERE boolean_expression]
  [aggregation [HAVING boolean_expression]]
  [ORDER BY sort_expressions]
  [CLUSTER BY expressions]
  [DISTRIBUTE BY expressions]
  [SORT BY sort_expressions]
  [WINDOW named_window[, WINDOW na