- Spark是一种快速、通用、可扩展的大数据分析引擎
- Spark是基于内存计算的大数据并行计算框架
Spark Core :实现了 Spark 的基本功能,包含任务调度、内存管理、错误恢复、与存储系统 交互等模块
Spark SQL:使用 SQL 或者 Apache Hive 版本的 SQL 方言(HQL)来查询数据,Spark SQL 支持多种数据源,比 如 Hive 表、Parquet 以及 JSON 等。
Spark Streaming:是 Spark 提供的对实时数据进行流式计算的组件
Spark MLlib:提供常见的机器学习(ML)功能的程序库
Spark特点
- 快:基于内存来高效处理数据流
- 易用:Spark支持Java、Python和Scala的API
- 通用:Spark提供了统一的解决方案
- 兼容性:Spark可以非常方便地与其他的开源产品进行融合
RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象。
RDD特点 :
- 分区:逻辑上是分区的
- 只读
- 依赖