![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark系列
扳掘de
这个作者很懒,什么都没留下…
展开
-
Spark学习笔记--01 Spark集群的安装
一、概述 关于Spark是什么、为什么学习Spark等等,在这就不说了,直接看这个:http://spark.apache.org,我就直接说一下Spark的一些优势: 1、快 与Hadoop的MapReduce相比,Spark基于内存的运算要快100倍以上,基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流。原创 2016-05-26 13:10:44 · 773 阅读 · 0 评论 -
Cache-Persist-Checkpoint 的区别
cache()与persist()的区别会被重复使用的但是不能太大的RDD需要cache, cache()调用了persist(),区别在于cache只有一个默认的缓存级别MEMORY_ONLY,而persist可以根据情况设置其它的缓存级别,StorageLevel类中有12种缓存级别.cache 与 checkpoint 的区别关于这个问题 Tathagata Das 有一段回答: There原创 2017-03-30 11:06:42 · 1996 阅读 · 0 评论