【Spark基础】Spark核心模块组成与功能概述

Spark基于Spark Core开发了多种组件。开发人员可以基于这些组件，轻松完成多种不同场景的计算任务。

 

1.Spark Core介绍

Spark Core是Spark的核心，各类核心组件都依赖于Spark Core。如下图所示，Spark Core核心组件包括基础设施、存储系统、调度系统、计算引擎四个部分。

1）Spark基础设施

Spark基础设施为其他组件提供最基础的服务，是Spark中最底层、最常用的一类组件。

• SparkConf：用于定义Spark应用程序的配置信息。
• SparkContext：是Spark中的应用入口，实现了网络通信、分布式、消息机制、存储、计算、运维监控、文件系统等各类常用功能，并且封装为简单易用的API，是开发人员只需要简单的几行代码就可以实现相应功能。
• Spark RPC：基于Netty实现的Spark组件间的网络通信组件。
• ListenerBus：Spark事件监听总线，主要用于内部组件间的交互。
• MetricsSystem：Spark度量系统，用于监控整个Spark集群中各个组件的运行状态。