Spark基础解析

什么是SPark

定义:Spark是一种基于内存的快速/通用/可扩展的大数据分析引擎.

Spark内置模块

Spark Core:实现了Spark的基本功能,包含任务调度/内存管理/错误恢复/与存储系统交互等模块.Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet,简称RDD)的API定义.

Spark SQL:是Spark用来操作结构化数据的程序包.通过Spark SQL,我们可以使用SQL或者Apache Hive版本的SQL方言(HQL)来查询数据.Spark SQL支持多种数据源,比如Hive表/Parquet以及JSON等.

Spark Streaming:是Spark提供的对实时数据进行流式计算的组件.提供了用来操作数据流的API,并且与Spark Core中的RDD API高度对应.

Spark MLlib:提供常见的机器学习(ML)功能的程序库.包括分类/回归/聚类/协同/过滤等,还提供了模型评估/数据导入等额外的支持功能.

集群管理器:Spark设计为可以高效地在一个计算节点到数千个计算节点之间伸缩计算.为了实现这样的要求,同时获取最大灵活性,Spark支持在各种集群管理器(Cluster Manager)上运行,包括Hadoop YARN/Apache Mesos,以及Spark自带的一个简易调度器,叫作独立调度器.

Spark特点

1. 快:与Hadoop的MapReduce相比,Spark基于内存的运算要快100倍以上,基于硬盘的运算也要快10倍以上.Spark实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流.计算的中间结果是存在于内存中的.

2. 易用:Spark支持Java/Python/Scala的API,还支持超过80种高级算法,使用户可以快速构建不同的应用.而且Spark支持交互式的Python和Scala的Shell,可以非常方便地在这些Shell中使用Spark集群来验证解决问题的方法.

3. 通用:Spark提供了统一的解决方案.Spark可以用于批处理/交互式查询(Spark SQL)/实时流处理(Spark Stream)/机器学习(Spark MLib)和图计算(GraphX).这些不同类型的处理都可以在同一个应用中无缝使用.减少了开发和维护的人力成本和部署平台的物力成本.

4. 兼容性:Spark可以非常方便地与其他的开源产品进行融合.eg:SPark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器,并且可以处理所有Hadoop支持的数据,包括HDFS/HBase等.这对于已经部署Hadoop集群的用户特别重要,因为不需要做任何数据迁移就可以使用Spark的强大处理能力.