1.spark的中间数据放到内存中,一次创建数据集,可以多次迭代运算,减少了IOd的开销,对于迭代运算效率更高。
2.spark更适合于迭代运算比较多的ML和DM运算,因为在spark里面有RDD的抽象概念。
3.spark比hadoop更通用。
4.spark提供的数据集操作类型有多种,不想hadoop只提供了Map和Reduce两种操作。比如ap,filter,flatMap,sample,groupGyKey,reduceByKey,union,join,cogroup,mapValues,sort,partionBy等多种操作类型,允许多种计算模式(包括map-reduce)。
5.对机器学习算法,图计算能力有很好的支持