![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
咖啡猫yyddbull
这个作者很懒,什么都没留下…
展开
-
Spark工作机制(二)——Spark应用执行介绍
注:本博客文章在https://yyddbull.github.io/coffeecat/ 同步更新了解了RDD概念后,介绍下Spark的工作机制:1、惰性计算首先,值得一提的是,Spark的RDD的Transformation操作都是惰性计算的,也就是只有在执行Action操作的时候才会真正开始计算。转化操作不会立刻执行,而是在内部记录下所要执行的操作的相关标识,等到了Actio...原创 2019-10-27 11:49:02 · 428 阅读 · 0 评论 -
Spark工作机制(一)——RDD的概念
注:本博客文章在https://yyddbull.github.io/coffeecat/ 同步更新要了解Spark工作机制,首先要知道几个概念,第一个就是RDD:1、什么是RDDRDD(Resilient Distributed Datasets) 是 Spark 的核心概念,中文名是弹性数据集,通俗的讲可以理解为是一种抽象的大规模数据集合,或者是一个大的数组,这个数组是分布在集...原创 2019-10-25 13:33:51 · 629 阅读 · 0 评论