spark与hadoop对比

1.spark的中间数据放到内存中，一次创建数据集，可以多次迭代运算，减少了IOd的开销，对于迭代运算效率更高。

2.spark更适合于迭代运算比较多的ML和DM运算，因为在spark里面有RDD的抽象概念。

3.spark比hadoop更通用。

4.spark提供的数据集操作类型有多种，不想hadoop只提供了Map和Reduce两种操作。比如ap，filter，flatMap，sample，groupGyKey，reduceByKey，union，join，cogroup，mapValues，sort，partionBy等多种操作类型，允许多种计算模式（包括map-reduce）。

5.对机器学习算法，图计算能力有很好的支持