Hadoop及spark框架结构

Hadoop结构框架

spark框架

---

Spark各部件介绍

Spark Core

		Spark生态圈的核心: 
		负责从HDFS, Amazon S3和HBase等持久层读取数据
		在YARN和Standalone为资源管理器调度Job完成分布式计算

包括两个重要部件

• 有向无环图（DAG）的分布式并行计算框架

   反应RDD之间的依赖关系 
   提供Cache机制来支持多次迭代计算或者数据共享以减少迭代计算之间读取数据局的开销 
   根据用户端对RDD的指令进行优化以减少系统开销
  

• 容错分布式数据RDD (Resilient Distributed Dataset)

    RDD代表了一系列数据集合分布在机群的内存中。SPARK CORE 的任务是对这些数据进行分布式计算。
  

也就是说
SPARK CORE 就是 SPARK 功能调度中心，其中包括任务调动，内存管理，容错管理及存储管理。同时也是一些列应用程序的集中地。<