Spark
suchang_csdn
菜鸟级程序员
展开
-
Spark基本概念
Spark的基本概念原创 2015-10-25 19:15:23 · 768 阅读 · 0 评论 -
Spark——并行计算框架
SparkSpark是一个通用的并行计算框架,是一种快速处理大规模数据的通用引擎,由UCBerkeley的AMP实验室开发。其架构如下图所示: Spark与Hadoop相比 Spark的中间数据放到内存中,对于迭代运算效率比较高 Spark更适合于迭代运算比较多的ML和DM运算。因为在Spark里面,有RDD的抽象概念; Spark比Hadoop更通用 Spark提供多种数据集操作类型,而Ha转载 2015-10-22 22:22:32 · 8071 阅读 · 0 评论