Spark
文章平均质量分 83
飞的man
这个作者很懒,什么都没留下…
展开
-
Spark简介与计算模型
Spark简介与计算模型 ①Spark简介 ②计算模型 ③开发环境的搭建 =>Spark简介 简介与功能 ①是基于内存计算的大数据分布式计算框架。Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证高容错性和高可伸缩性,允许用户将Spark部署在大量廉价的硬件上,形成集群; ②分布式计算。将分布式的存储数据并行读入,并将任务分发到各个节点,进行并行运算;原创 2017-08-01 18:27:56 · 972 阅读 · 0 评论 -
Spark架构
①Spark的架构 ②Spark的工作机制 ③Spark的调度 =>Spark的架构 Spark架构组件简介 ①Spark集群中Master负责集群整体资源管理和调度,Worker负责单个节点的资源管理。Driver程序是应用逻辑执行的起点,而多个Executor用来对数据进行并行处理。 ②Spark的构成:ClusterManager:在standalone模式中,即原创 2017-08-01 19:51:45 · 540 阅读 · 0 评论