Spark Core

最新推荐文章于 2022-12-23 20:25:35 发布

bingoabin

最新推荐文章于 2022-12-23 20:25:35 发布

阅读量10w+

点赞数 9

分类专栏：大数据文章标签： spark spark-core spark架构

本文链接：https://blog.csdn.net/bingoxubin/article/details/79076978

版权

大数据专栏收录该内容

65 篇文章 14 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

Apache Spark是高性能计算框架，尤其以其内存计算优化性能。Spark Core包含RDD、DataFrame和DataSet，其中DataFrame和DataSet提供了优化的计算模型。DataFrame带有schema，提升了执行效率，而DataSet结合了RDD和DataFrame的优点，使用Encoder进行高效数据处理。Spark计算模型基于RDD的血统关系图，可恢复丢失数据。

摘要由CSDN通过智能技术生成

一、Spark Core

Apache Spark 是加州大学伯克利分校的 AMP Labs 开发的开源分布式轻量级通用计算框架。由于 Spark 基于内存设计，使得它拥有比 Hadoop 更高的性能（极端情况下可以达到 100x），并且对多语言（Scala、Java、Python）提供支持。其一栈式的设计特点使得我们的学习和维护成本大大地减少，而且其提供了很好的容错解决方案。

操作步骤

1. 主要功能

Spark Core提供Spark最基础与最核心的功能，主要包括以下功能：

(1)、SparkContext：通常而言，Driver Application的执行与输出都是通过SparkContext来完成的。在正式提交Application之前，首先需要初始化SparkContext。SparkContext隐藏了网络通信、分布式部署、消息通信、存储能力、计算能力、缓存、测量系统、文件服务、Web服务等内容，应用程序开发者只需要使用SparkContext提供的API完成功能开发。SparkContext内置的DAGScheduler负责创建Job，将DAG中的RDD划分到不同的Stage，提交Stage等功能。内置的TaskScheduler负责资源的申请，