假如我们电脑的内存是512G的，我们要从数据源（hdfs）读取的数据大小是1T
所以我们不能将所有的数据都一次读取进内存，在hfds中的数据是以block块的形式存放着的，所以1T的数据分成了很多个block的块
HFDS （1T）
在内存会加载多个block块进来进行相应的计算然后生成一个rdd1的一部分（512G）
这一部分rdd1之后还会继续往下进行计算，生成RDD2，在生成rdd2之前我们还进行了一个persist，这里会将数据进行持久化（保存到内存或者硬盘）
到RDD2的时候这里一部分数据就已经计算出结果来了，内存里边还保留着一部分rdd1的数据
我们1T的数据还没有读完，然后接着读剩下的数据，把剩下的数据继续加载计算然后生成rdd1的一部分，然后进行持久化，这个时候试图去存，看看是否还有内存，然后装不下就不装了。然后继续执行生成新的rdd2的另外一批的数据，最后RDD2有一个count直接出结果了。
缓存到内存的数据有什么用呢？
比如说RDD3不是直接从rdd2来的，而是在rdd1过来的，这个时候呢，rdd3.count提交一个job，然后回去找rdd1，这个时候发现rdd1之前做过缓存，所以先去读rdd1缓存的数据，没有缓存的我们重新再去读hdfs的一部分生成rdd1（实际上也可以在内存和磁盘里面存）
扫一扫
541
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
