文章同步位置:https://www.codeobj.com/?p=567
一、官网介绍
1 什么是Spark
官网地址:http://spark.apache.org/
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
2、Spark 与Hadoop的关系
1)Hadoop
Hadoop 是一种大数据文件存储和数据处理框架,它使用一种称为 MapReduce 的技术从一个庞大的磁盘集群读取数据,转换数据,并将数据写回磁盘。另一方面,Spark 使用有向非循环图 (DAG) 通过一系列步骤处理内存中的数据,这些步骤之间相互依赖(Gradle 也使用了一种 DAG),而且不会像 Hadoop(通过 Hadoop 分布式文件系统,HDFS)那样处理文件存储本身。
2)MapReduce
人们很容易将 Spark Core 与 MapReduce 混淆,因为它们在大数据领域都很重要。MapReduce 基本来讲是一种单通算法:读入数据,MapReduce 转换它,然后将数据写回到磁盘。如果需要另一次转换,则会重复这些步骤。另一方面,Spark 在内存中执行所有处理工作(如有必要,还会执行多次迭代),并使用 DAG 确定要执行步骤的最佳顺序。
3)两者间的关系
Spark 被设计为与 Hadoop 兼容,所以 Hadoop 和 Spark 可以紧密协作。事实上,Spark 下载包含用于使用 HDFS(用于存储管理)和 YARN(用于资源管理和调度)的 Hadoop 客户端库。
3、Spark与MapReduce的区别
都是分布式计算框架,Spark基于内存,MR基于HDFS。Spark处理数据的能力一般是MR的十倍以上,Spark中除了基于内存计算外,还有DAG有向无环图来切分任务的执行先后顺序。
二、Spark的四大特性
1、高效性
官网介绍Spark运行速度提高100倍。Apache Spark使用最先进的DAG调度程序,查询优化程序和物理执行引擎,实现批量和流式数据的高性能。
2、易用性
Spark支持Java、Scala,Python和R的API,还支持超过80种高级算法,使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的shell,可以非常方便地在这些shell中使用Spark集群来验证解决问题的方法。
3、通用性
Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询(Spark SQL)、实时流处理(Spark Streaming)、机器学习(Spark MLlib)和图计算(GraphX)。这些不同类型的处理都可以在同一个应用中无缝使用。Spark统一的解决方案非常具有吸引力,毕竟任何公司都想用统一的平台去处理遇到的问题,减少开发和维护的人力成本和部署平台的物力成本。
4、兼容性
Spark可以非常方便地与其他的开源产品进行融合。比如,Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器,并且可以处理所有Hadoop支持的数据,包括HDFS、HBase和Cassandra等。这对于已经部署Hadoop集群的用户特别重要,因为不需要做任何数据迁移就可以使用Spark的强大处理能力。Spark也可以不依赖于第三方的资源管理和调度器,它实现了Standalone作为其内置的资源管理和调度框架,这样进一步降低了Spark的使用门槛,使得所有人都可以非常容易地部署和使用Spark。此外,Spark还提供了在EC2上部署Standalone的Spark集群的工具。
三、Spark的技术栈
SparkCore:
Resilient Distributed Dataset
将分布式数据抽象为弹性分布式数据集(RDD),实现了应用任务调度、RPC、序列化和压缩,并为运行在其上的上层组件提供API。
SparkSQL:
Spark Sql 是Spark来操作结构化数据的模块,可以使用SQL语句的方式来查询数据,Spark支持多种数据源,如HDFS,FLume,Kafka等。
SparkStreaming:
是Spark提供的实时数据进行流式计算的组件。
MLlib:
提供常用机器学习算法的实现库。
GraphX:
提供一个分布式图计算框架,能高效进行图计算。
BlinkDB:
用于在海量数据上进行交互式SQL的近似查询引擎。
Tachyon:
以内存为中心高容错的的分布式文件系统。
四、Spark的运行模式
运行环境 | 模式 | 描述 |
---|---|---|
Local | 本地模式 | 常用于本地开发测试,如在eclipse,idea中写程序测试等。本地还分为local单线程和local-cluster多线程 |
Standalone | 集群模式 | Spark自带的一个资源调度框架,支持完全分布式。存在的Master单点故障可由ZooKeeper来实现HA |
Yarn | 集群模式 | 运行在yarn资源管理器框架之上,由yarn负责资源管理,Spark负责任务调度和计算 |
Mesos | 集群模式 | 运行在mesos资源管理器框架之上,由mesos负责资源管理,Spark负责任务调度和计算 |
Kubernetes | 集群模式 | 运行在Kubernetes资源管理的集群上,目前Kubernetes调度程序是实验性的 |
五、Spark的常用术语
术语 | 描述 |
---|---|
Application | Spark的应用程序,包含一个Driver program和若干Executor |
SparkContext | Spark应用程序的入口,负责调度各个运算资源,协调各个Worker Node上的Executor |
Driver Program | 运行Application的main()函数并且创建SparkContext |
Executor | 是为Application运行在Worker node上的一个进程,该进程负责运行Task,并且负责将数据存在内存或者磁盘上.每个Application都会申请各自的Executor来处理任务 |
ClusterManager | 在集群上获取资源的外部服务(例如:Standalone、Mesos、Yarn) |
Worker Node | 集群中任何可以运行Application代码的节点,运行一个或多个Executor进程 |
Task | 运行在Executor上的工作单元 |
Job | SparkContext提交的具体Action操作,常和Action对应 |
Stage | 每个Job会被拆分很多组task,每组任务被称为Stage,也称TaskSet |
RDD | 是Resilient distributed datasets的简称,中文为弹性分布式数据集;是Spark最核心的模块和类 |
DAGScheduler | 根据Job构建基于Stage的DAG,并提交Stage给TaskScheduler |
TaskScheduler | 将Taskset提交给Worker node集群运行并返回结果 |
Transformations | 是Spark API的一种类型,Transformation返回值还是一个RDD, 所有的Transformation采用的都是懒策略,如果只是将Transformation提交是不会执行计算的 |
Action | 是Spark API的一种类型,Action返回值不是一个RDD,而是一个scala集合;计算只有在Action被提交的时候计算才 被触发。 |