大数据科学丛书
Spark核心源码分析与开发实战
第一章 Spark系统概述
1.Spark是什么
是一个快速和通用的大数据处理引擎。可以通俗的理解为一个分布式的大数据处理框架,它基于RDD,立足于,内存计算,在one stack to rule them all思想引领下,打造的一个可以进行流式处理,机器学习,即时查询,图计算等各种大数据处理无缝连接的一栈式计算平台。
Spark优势:
快速处理:比Hadoop快的原因,内存计算减少磁盘io,Hadoop按部就班进行计算,Spark有方向性的,有向无环图,可以进行优化,还有容错机制,可靠的任务调度。
易于使用:编程简单,提供多种语言API包括Java Scala python
通用性强:提供一个强大的技术堆栈,是一个可以进行流式处理、机器学习、即时查询、图计算等多种大数据处理连接的计算平台
可以与Hadoop数据集成:可以独立运行也可运行在Mesos、yarn等集群资源管理系统之外还可以读取任何Hadoop数据。
迅速活跃的社区:发展迅猛,大公司使用
2.Spark生态系统
Spark Core:生态圈核心组件,一个分布式大数据处理框架,包含Spark的基本功能。Spark将数据在分布式环境下分区,然后将作业转为有向无环图,减少多次计算之间中间结果的磁盘IO开销,并分阶段进行DAG的调度任务的分布式并行处理。Spark采用高容错的高可伸缩性的AKKA作为通信框架,减少了多线程并发运行所带来的不确定性,还采用多线程池模型来减少task启动开销。
RDD可以想象为一个个的partition也可以理解为一个非常大的list。一旦有RDD分区数据丢了,可以通过父RDD自动重建保证了容错性。此外还有宽窄依赖两个重要概念。
Spark SQL:使用SchemaRDD来操作SQL的技术,这个功能类似Shark,但比Shark支持更多的查询表达式。支持Hive、Json、HDFS、Parquet等持久化存储。
Spark Streaming:是一个对实时流量进行高通量、容错处理的流式系统、可以对多种数据源进行类似map、reduce、join等复杂操作,并将结果保存到外部文件系统数据库或实时仪表盘。
Spark GraphX:图计算
MLlib:对常用机器学习算法的实现库,同时包含相关测试和数据生成器。目前支持四种常用的机器学习问题:分类、回归、聚类和协同过滤。