Spark
文章平均质量分 88
不住在隔壁的老王
这个作者很懒,什么都没留下…
展开
-
Spark - Spark SQL中RBO, CBO与AQE简单介绍
Spark SQL核心是Catalyst, Catalyst执行流程主要分4个阶段, 语句解析, 逻辑计划与优化, 物理计划与优化, 代码生成前三个阶段都由Catalyst负责, 其中, 逻辑计划的优化采用RBO思路, 物理计划的优化采用CBO思路。原创 2023-02-10 15:41:08 · 1390 阅读 · 0 评论 -
Spark-RDD简单介绍
结合Spark官网, 对Spark RDD的一些简单介绍和总结.RDD是Spark提供的主要抽象, 全称弹性分布式数据集, 它是跨集群节点来分区的元素集合, 可以并行操作, 可以保留在内存, 还可以自动从节点故障中恢复.创建RDD创建RDD有两种方法并行化现有的集合val data = Array(1, 2, 3, 4, 5)val rdd = sc.parallelize(dat...原创 2018-11-28 14:15:13 · 301 阅读 · 0 评论