对DAG的粗略理解

在这里插入图片描述
当一个job提交后,最后一个RDD执行action算子从所有的父级依赖查找shuffle依赖,找到shuffle依赖后创建一个shuffle map stage,在stage中的必定是narrow依赖,narrow依赖中的是task任务,有多少个partition就有多少个task,多个task称作taskset任务集,一个任务集就是一个stage,task在进程上运行,运行完后释放所有资源。

RDD(弹性分布式数据集):是一个抽象概念,spark计算过程中一个瞬时结果。
shuffle依赖:宽依赖,父级RDD的分区被子级RDD多个分区所使用。
narrow依赖:窄依赖,父级RDD的分区被子级RDD一个分区使用。
task:是spark中最小的计算单元。

有不对的地方还希望有大神指出来,及时改正,感谢。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值