spark
文章平均质量分 78
AdamLambert
这个作者很懒,什么都没留下…
展开
-
Spark(二): 内存管理
     Spark 作为一个以擅长内存计算为优势的计算引擎,内存管理方案是其非常重要的模块; Spark的内存可以大体归为两类:execution和storage,前者包括shuffles、joins、sorts和aggregations所需内存,后者包括cache和节点间数据传输所需内存;在Spark 1.5和之前版本里,两者是静态配置的,不支持借用,s...转载 2018-07-25 10:20:39 · 3731 阅读 · 0 评论 -
Spark(一): 基本架构及原理
      Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势: Spark提供了一个全面、统一的框架用于管理各种有着不同性质...转载 2018-07-25 10:09:51 · 242 阅读 · 0 评论