大数据生态与spark简介

Spark相对于hadoop的优势：
（1）高性能
Spark具有hadoop MR所有的优点，hadoop MR每次计算的中间结果都会存储到HDFS的磁盘上，而Spark的中间结果可以保存在内存，在内存中进行数据处理。

（2）高容错

基于“血统”(Lineage)的数据恢复：spark引入了弹性分布式数据集RDD的抽象，它是分布在一组节点中的只读的数据的集合，这些集合是弹性的且是相互依赖的，如果数据集中的一部分的数据发生丢失可以根据“血统”关系进行重建。

CheckPoint容错：RDD计算时可以通过checkpoint进行容错，checkpoint有两种检测方式：通过冗余数据和日志记录更新操作。在RDD中的doCheckPoint方法相当于通过冗余数据来缓存数据，而“血统”是通过粗粒度的记录更新操作来实现容错的。CheckPoint容错是对血统检测进行的容错辅助，避免“血统”(Lineage)过长造成的容错成本过高。

（3）spark的通用性

spark 是一个通用的大数据计算框架，相对于hadoop它提供了更丰富的使用场景。

spark相对于hadoop map reduce两种操作还提供了更为丰富的操作，分为action(collect,reduce,save…)和transformations（map,union,join,filter…）,同时在各节点的通信模型中相对于hadoop的shuffle操作还有分区，控制中间结果存储，物化视图等。


总结：
Spark是专门用来处理大数据集的计算引擎，包含Spark Core、Spark SQL、Spark Streaming、MLlib、GraphX五大模块，其中Spark Core是其余四个模块的基石。Spark由于其出色的基于内存的计算引擎，其运行速度快以及良好的易用性、通用性和适配性使得Spark在整个大数据体系占据越来越重要的地位。