Spark的延迟执行再理解

最新推荐文章于 2022-03-17 15:57:09 发布

涛声依旧（竞涛）

最新推荐文章于 2022-03-17 15:57:09 发布

阅读量1.3k

点赞数

分类专栏： spark 文章标签： spark 延迟执行 lazy evaluation

本文链接：https://blog.csdn.net/qq_27639777/article/details/89322262

版权

本文通过实例探讨Spark的延迟执行特性。在Spark中，由于计算是延迟的，只有触发行动操作时才会执行任务。尽管某些代码看似可能出错，但由于延迟执行，实际上它们表现相同。然而，当涉及特定查询时，如多重`select`，Spark可能不会自动合并为一个任务，而是采用子查询方式，这与SQL解析实现有关。理解延迟执行是解决此类疑问的关键。

摘要由CSDN通过智能技术生成

首先，大家可以猜测下如下代码的执行结果，是否会报错？

val df = Seq((0, "ben", "student"),(1, "jim", "teacher")).toDF("id", "name", "job")
val df2 = df.select("id", "name")
val df3 = df2.filter("job = 'teacher'")  // 是否会报错？
df3.show
val df4 = df.select("id", "name").filter("job = 'teacher'") // 是否会报错？
df4.show
val df5 = df3.filter("job = 'teacher'").select("id", "name") // 是否会报错？
df5.show

比较直观的反应是df3可能会报错，因为df2中已经不包含job列了，此时会报列不存在的错误。
但再看下df4的生成语句，隐隐感觉应该是没有问题的。
再看下df5的生成语句，顿时有种豁免开朗的感觉，这应该没有问题。
以下是语句实际执行情况：

再回过头来看上面三种写法之间的差别&#