Spark的组件

组件

Spark包括多个集成组件，结构图如下：

 

Spark Core

spark core 为其他组件提供底层服务

包含Spark的基本功能， 包含任务调度、内存管理、容错机制等

内部定义了RDD——弹性分布式数据集

提供很多API来创建和操作RDD

 

Spark SQL

spark sql 是Spark处理结构化数据的库， 类似于Hive SQL, mySQL, 目前公司主要用于报表统计和数据查询

 

Spark Streaming

spark stream 是实时数据流处理组件(本质还是批处理)，类似Storm

spark stream 提供API操作实时流数据，如实时读写Kafka消息队列

 

Milb

mlib是包含通用机器学习功能的包，Machine  learning lib

包含常用的机器学习算法， 如分类、聚类、回归等，还包含模型评估和数据导入

 

Graphx

图处理库，如社交网络图，可进行图的并行计算

提供各种图操作和常用的图算法， 如PangeRank算法

 

Cluster Managers

集群管理，Spark自带一个集群管理是单独调度器

常见集群管理包括 Hadoop Yarn, Apache Mesos