spark的组件

Spark的组件介绍

1.Spark Core(任务调度，内存管理)

Spark Core 实现了Spark 的基本功能，包括任务调度，内存管理，错误恢复，和存储系统交互等模块。Spark Core 包括了弹性分布式数据集RDD的API定义，

2.Spark SQL(结构化数据)

Spark SQL 是Spark用来操作结构化数据的程序包，通过spark sql 可以使用SQL或者Hive查询数据，

3.Spark Streaming(实时计算)

Spark Streaming是Spark 提供的实时数据进行流式计算的组件，

4.MLlib(机器学习)

MLlib提供机器学习的程序库，它提供了很多机器学习的算法， 包括分类、回归、聚类、协同过滤等，还提供了模型评估，数据导入等支持功能

5.GraphX(图计算)

GraphX是用来操作图的程序库，可以进行并行的图计算。它扩展了Spark的RDD API,能用来创建一个顶点和边都包含任意属性的有向图。