Apache Spark 是一个用于大规模数据处理的快速计算引擎，与Hadoop相比，Spark通过内存计算提升性能。本文涵盖了Spark的简述、与Hadoop的对比、生态系统、核心组件、运行流程、RDD概念及其特性，以及性能调优策略。Spark包括Spark Core、Spark SQL、Spark Streaming、MLlib和GraphX等组件，其架构涉及Driver、Executor和Cluster Manager。DAG反映了RDD之间的依赖关系。在性能调优方面，重点关注资源参数、shuffle操作的优化等。
Spark原理及理解
Spark简述
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
--摘自百度百科
Spark与Hadoop的对比
Spark生态
Spark Core :包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的
Spark SQL:提供了类SQL的查询,与Spark进行交互的API,类似于Hive
Spark Streaming:SparkStreaming 是一个基于SparkCore之上的实时计算框架,可以从很多数据源消费数据并对数据进行实时的处理,具有高吞吐量和容错能力强等特
最低0.47元/天 解锁文章
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
