Apache Spark是一个为大规模数据处理设计的快速通用计算引擎，以其内存计算速度和多语言支持著称。RDD（Resilient Distributed Dataset）是Spark的核心概念，具有分布式、容错性和转换算子等特点。本文介绍了RDD的特性、Spark的任务执行原理以及常见的Transformation和Action算子，如filter、map、reduceByKey、count等，并探讨了缓存与持久化策略。
Spark概念：
Apache Spark是专门为大规模数据处理而设计的快速通用的计算引擎。Spark是加州大学伯克利分校的AMP实验室所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的所有优点，但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不需要读写HDFS，因此Spark能更好的的适用于数据挖掘与机器学习等需要迭代的MApReduce的算法。
Spark特点：
（1）速度快。Spark是基于内存的分布式计算框架，高效DAG执行引擎
（2）支持java，Scala，Python，R，Sql等语言进行开发。
（3）通用：上层模块都是SparkCore的延伸。
（4）运行模式包含：
local：可以在本地eclipse、IDEA中写Spark代码，在本地运行，多用于测试
Yarn：Hadoop生态圈中的资源调度框架，Spark也可以基于Yarn运行
Standalone：Spark中自带的资源调度框架，支持分布式搭建。
Mesos：资源调度框架
Spark技术栈：
HDFS、Hadoop、Hive、MapReduce,Storm
SparkCore(处理批数据)、SparkSql（使用SQL处理分布式数据）、Sparkstreaming（处理流式数据）
弹性分布式数据集----RDD（
最低0.47元/天 解锁文章
扫一扫
3974
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
