Spark核心源码分析1

大数据科学丛书
Spark核心源码分析与开发实战

第一章 Spark系统概述

1.Spark是什么
是一个快速和通用的大数据处理引擎。可以通俗的理解为一个分布式的大数据处理框架，它基于RDD，立足于，内存计算，在one stack to rule them all思想引领下，打造的一个可以进行流式处理，机器学习，即时查询，图计算等各种大数据处理无缝连接的一栈式计算平台。
Spark优势：
快速处理：比Hadoop快的原因，内存计算减少磁盘io，Hadoop按部就班进行计算，Spark有方向性的，有向无环图，可以进行优化，还有容错机制，可靠的任务调度。
易于使用：编程简单，提供多种语言API包括Java Scala python
通用性强：提供一个强大的技术堆栈，是一个可以进行流式处理、机器学习、即时查询、图计算等多种大数据处理连接的计算平台
可以与Hadoop数据集成：可以独立运行也可运行在Mesos、yarn等集群资源管理系统之外还可以读取任何Hadoop数据。
迅速活跃的社区：发展迅猛，大公司使用

2.Spark生态系统
Spark Core：生态圈核心组件，一个分布式大数据处理框架，包含Spark的基本功能。Spark将数据在分布式环境下分区，然后将作业转为有向无环图，减少多次计算之间中间结果的磁盘IO开销，并分阶段进行DAG的调度任务的分布式并行处理。Spark采用高容错的高可伸缩性的AKKA作为通信框架，减少了多线程并发运行所带来的不确定性，还采用多线程池模型来减少task启动开销。
RDD可以想象为一个个的partition也可以理解为一个非常大的list。一旦有RDD分区数据丢了，可以通过父RDD自动重建保证了容错性。此外还有宽窄依赖两个重要概念。

Spark SQL：使用SchemaRDD来操作SQL的技术，这个功能类似Shark，但比Shark支持更多的查询表达式。支持Hive、Json、HDFS、Parquet等持久化存储。

Spark Streaming：是一个对实时流量进行高通量、容错处理的流式系统、可以对多种数据源进行类似map、reduce、join等复杂操作，并将结果保存到外部文件系统数据库或实时仪表盘。

Spark GraphX：图计算

MLlib：对常用机器学习算法的实现库，同时包含相关测试和数据生成器。目前支持四种常用的机器学习问题：分类、回归、聚类和协同过滤。