Spark浅析之stage,宽窄依赖和shuffle的关系

新手上路,如有不对的地方,请多多指导

 

前言

 

stage作为是Spark应用程序的调度任务划分模块,对它的理解有助你提高编写Spark代码的编写,说到底想要玩好Spark,就要玩好RDD。

 

宽窄依赖

 

宽依赖:1.父类RDD的一个分区上的数据对应承接给同一个子类RDD的多个分区——即RDD是1对1,但分区是1对多。

             2.父类RDD的一个分区上的数据对应承接给多个子类RDD的一个或多个分区——即RDD是1对多,但分区是1对1,也可以是1对多。

窄依赖:1.父类RDD的一个分区上的数据对应承接给唯一的子类RDD且分区也是一一对应——即RDD是1对1,分区也是1对1。

从宽窄依赖看shuffle:

宽依赖:有分区的操作,有shuffle,会落地磁盘。

窄依赖:无分区的操作,无shuffle,基于内存计算。

总结:在内存足够的前提下,减少使用有shuffle的算子,会提高代码运行效率。

 

DAG 划分stage的规则:

在运行时也就是触发action算子开始向前回溯后,遇到宽依赖就切分成一个stage。每一个stage包含一个或多个并行的task任务,

这里的task指的是组成一个task线程中的一部分,一条task线程会负责处理一个partiton中的一部分数据——即在程序运行时数据的划分是:一个stage由一个或多个partition组成,而其中每个partition的数据又是由多个task任务负责处理,且每个task任务会横向贯穿于多个stage当中。这样就使其形成了一套完整的内存迭代计算。

这也是spark计算所依赖的pipeline流的原理——管道计算。

本套大数据热门技术Spark+机器学习+贝叶斯算法系列课程,历经5年沉淀,调研企业上百家,通过上万学员汇总,保留较为完整的知识体系的同时,让每个模块看起来小而精,碎而不散。在本课程中基于大量案例实战,深度剖析和讲解Spark2.4原理和新特性,且会包含完全从企业真实业务需求中抽取出的案例实战。内容涵盖Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、推荐系统、Kafka消费机制、Spark机器学习、朴素贝叶斯算法、企业级实战案例等。通过理论和实际的紧密结合,可以使学员对大数据Spark技术栈有充分的认识和理解,在项目实战中对Spark和流式处理应用的场景、以及大数据开发有更深刻的认识;并且通过对流处理原理的学习和与批处理架构的对比,可以对大数据处理架构有更全面的了解,为日后成长为架构师打下基础。本套教程可以让学员熟练掌握Spark技术栈,提升自己的职场竞争力,实现更好的升职或者跳槽,或者从J2EE等传统软件开发工程师转型为Spark大数据开发工程师,或是对于正在从事Hadoop大数据开发的朋友可以拓宽自己的技术能力栈,提升自己的价值。Spark应用场景Yahoo将Spark用在Audience Expansion中的应用,进行点击预测和即席查询等。淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等。应用于内容推荐、社区发现等。腾讯大数据精准推荐借助Spark快速迭代的优势,实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法,最终成功应用于广点通pCTR投放系统上。优酷土豆将Spark应用于视频推荐(图计算)、广告业务,主要实现机器学习、图计算等迭代计算。本套大数据热门技术Spark+机器学习+贝叶斯算法共计13季,本套为第5季。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值