1. spark简介
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
2. spark框架介绍
Spark支持的Api:scala、python、java
3. spark的特点
Apache Spark™ is a fast and general engine for large-scaledata processing.
2.1数据处理引擎
快速:DAG。Memory
通用:一栈式的大数据处理解决方案
2.2数据处理与数据分析
适用于大数据集
4.MapReudce与Spark对比的同点
1.基本原理上:
MapReduce:基于磁盘的大数据批量处理系统
spark:基于 RDD( 弹性分布式数据集) 数据处理,显式的将
RDD 数据存储到磁盘和内存中。
2.模型上:
MapReduce:可以处理超大规模的数据,适合日志分析挖掘等
较少的迭代的长任务需求; 结合了数据的分布式的计算。
Spark:适合数据的挖掘,机器学习等多伦迭代式计算任务
3.容错性上
数据容错性
节点容错性