spark作用流程

 


原文:https://www.cnblogs.com/asura7969/p/8441471.html

  https://blog.csdn.net/xu__cg/article/details/70037933

转载于:https://www.cnblogs.com/yiduobaozhiblog1/p/9838115.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark的执行流程包括以下几个步骤: 1. 创建SparkSession:SparkSession是Spark应用程序的入口点,用于与Spark进行交互。在创建SparkSession时,需要指定应用程序的名称和配置信息。 2. 创建RDD或DataFrame:Spark支持两种数据抽象类型:弹性分布式数据集(RDD)和数据框架(DataFrame)。RDD是Spark中最基本的数据结构,而DataFrame则是基于RDD的高级数据结构。你可以从外部数据源(如文件系统、数据库等)中读取数据,或者通过转换操作从已有的RDD或DataFrame中创建新的数据集。 3. 转换操作:Spark提供了一系列的转换操作,如map、filter、reduce等。转换操作并不立即执行,而是会生成一个新的RDD或DataFrame。这些转换操作可以链式调用,形成一个转换操作的有向无环图(DAG)。 4. 行动操作:当需要获取计算结果时,就需要触发行动操作。行动操作会触发Spark引擎根据转换操作的DAG来执行计算,并将结果返回给驱动程序。 5. 优化执行计划:在执行转换操作之前,Spark会对转换操作的DAG进行优化,以提高执行效率。优化过程包括选择最佳的执行计划、重排转换操作的顺序、合并相邻的转换操作等。 6. 任务划分与调度:Spark将执行计划划分为一系列的任务,并将这些任务分发到集群中的多个执行器上并行执行。任务划分的策略可以根据数据分区进行优化,以实现数据本地性和负载均衡。 7. 执行任务:每个执行器会接收到一些任务,并根据指定的转换操作进行计算。计算过程中,Spark会利用内存和磁盘进行数据交换和缓存,以提高计算效率。 8. 结果返回:当所有任务执行完成后,计算结果会被返回给驱动程序,可以进行进一步的处理或输出。 需要注意的是,Spark的执行流程是延迟计算的,只有在触发行动操作时才会真正执行计算。这种延迟计算的特性使得Spark可以对计算进行优化,并支持容错和增量计算等特性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值