Spark的详细概述

目录

spark是什么？

spark特点：

spark集群的体系结构

（a）Master：接收任务请求，分发任务

(b)Worker：本节点任务调度，资源管理。默认占用该节点所有资源

(c )Driver：客户端

(a)Spark-submit：

(b)spark-shell：

spark的生态圈

spark的部署模式：Spark独立服务器模式、基于YARN的Spark、基于Mesos的Spark。

3. 基于Mesos的Spark

spark的架构

Spark作业运行流程  Standalone模式运行流程

Spark核心数据集RDD

mapreduce和spark的区别

---

spark是什么？

 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。

目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。

spark的发展史

2009年，Spark诞生于伯克利大学的AMPLab实验室。最出Spark只是一个实验性的项目，代码量非常少，属于轻量级的框架。

2010年，伯克利大学正式开源了Spark项目。

2013年，Spark成为了Apache基金会下的项目，进入高速发展期。第三方开发者贡献了大量的代码，活跃度非常高。

2014年，Spark以飞快的速度称为了Apache的顶级项目。

2015年~，Spark在国内IT行业变得愈发火爆，大量的公司开始重点部署或者使用Spark来替代MapReduce、Hive、Storm等传统的大数据计算框架。

spark特点：

快速：

一般情况下，对于迭代次数较多的应用程序， Spark 程序在内存中的运行速度是 Hadoop MapReduce 运行速度的 100 多倍，在磁盘上的运行速度是 Hadoop MapReduce 运行速度的 10 多倍。

易用性：Spark支持使用Scala、Python、Java及R语言快速编写应用。同时Spark提供超过80个高阶算子，使得编写并行应用程序变得容易，并且可以在Scala、Python或R的交互模式下使用Spark。

通用性：Spark可以与SQL、Streaming及复杂的分析良好结合。Spark还有一系列的高级工具，包括Spark SQL、MLlib（机器学习库）、GraphX（图计算）和Spark Streaming（流计算），并且支持在一个应用中同时使用这些组件。

随处运行：用户可以使用Spark的独立集群模式运行Spark，也可以在EC2（亚马逊弹性计算云）、Hadoop YARN或者Apache Mesos上运行Spark。并且可以从HDFS、Cassandra、HBase、Hive、Tachyon和任何分布式文件系统读取数据。

兼容性

Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop的生态系统，以弥补MapReduce的不足。

spark最大的特点：基于内存。

spark集群的体系结构

（1）结构

（a）Master：接收任务请求，分发任务

(b)Worker：本节点任务调度，资源管理。默认占用该节点所有资源

• Spark对内存没有很好管理，容易出现OOM。Spark把内存管理交给应用程序。
• Spark架构出现单点故障问题，通过HA解决。