Spark原理
文章平均质量分 82
瓶子Annette
一名准程序媛的读研修炼…
展开
-
Spark的天然优势--内存计算
所有的计算都是基于内存的,为什么Spark说是基于内存进行计算的呢?在这里我有两点理解: 1.Spark支持将RDD数据集Persist或者Cache到内存里去,如果将频繁使用的数据集缓存到内存中,则可以大大减少IO、网络传输以及重新计算的代价,尤其是对于Shuffle后的数据集进行缓存,可显著提高应用运行速度。 2.基于pipeline的计算执行策略,此策略可以实现对内存中数据的重用最大化,减原创 2015-12-10 16:56:52 · 3965 阅读 · 0 评论 -
Spark项目经验总结--Spark优化策略
在项目中总结出的Spark计算平台优化经验,分享给需要的人和以后的自己O(∩_∩)O~原创 2016-03-03 18:26:23 · 3388 阅读 · 0 评论