Spark学习之路——1.初识Spark

第一节、初识Spark

一、Spark简介

1.Spark官网： http://spark.apache.org/

    官方介绍为：Apache Spark™ is a unified analytics engine for large-scale data processing.

2.对Spark的总结

    Spark是Apache的开源项目（一种灵活的框架），专为大规模数据处理（批处理、流计算、交互式计算）而设计的快速计算引擎。

3.Spark对比MapReduce

(1)Mapreduce局限性：

    ①仅支持map和reduce操作，编程简单但是代码量大

    ②处理效率较低：Map中间结果会写入磁盘，多个MapReduce之间通过HDFS进行交换数据；Map和Reduce端均进行排序；任务调度和启用的开销较大。

    ③不适合迭代计算（例如对机器学习和图计算等），交互式处理（数据挖掘）和流处理等。

    ④编程不灵活。

(2)Spark的优势

    Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

    Spark支持批处理计算、迭代计算（复杂算法）、交互式计算（支持类SQL语句，能快速进行数据分析）和流式计算（对数据进行实时处理分析）。

二、Spark生态

1.总的来说：

 

2.Spark向下支持YARN、Mesos、Kubernetes等资源管理框架，可以从HDFS、HBase、Hive等数据源访问数据。

3.Spark向上支持SQL、Streaming、MLlib、GraphX等计算方式。

 

三、Spark特点

1.计算速度快

①内存计算，提供了Cache机制来支持反复迭代的计算，减少数据读取的IO开销

②DAG引擎，计算的中间结果不会存储在磁盘里

③使用多线程池来减少task开销，shuffle阶段避免了不必要的sort操作，减少磁盘IO操作

2.支持多种语言（java，scala、Python、R）

3.一个框架支持多种计算

4.运行环境多样

①集成于Hadoop，支持多种数据源（上面提到）

②可以和yarn集成，还可以运行在Mesos上（Yarn和Mesos是同级的）

③Spark也可以脱离Hadoop独立运行

 

下一章将继续学习Spark的核心内容