一个action算子一个job
下面是一个job的划分:

DAG(有向无环图):
顾名思义:有方向而没有环路

这里做了DAG优化 :
就是不切分窄依赖 举例??
1 + 1 + 1 +1 =?:
if 切分 : 1+1 =2 2+1 =3 3+1 =4
if 不切分 : 1+1+1+1 = 4
这样不切分的效率就会很高(DAG优化)
Spark_DAG
最新推荐文章于 2024-11-20 17:57:19 发布
一个action算子一个job
下面是一个job的划分:

DAG(有向无环图):
顾名思义:有方向而没有环路

这里做了DAG优化 :
就是不切分窄依赖 举例??
1 + 1 + 1 +1 =?:
if 切分 : 1+1 =2 2+1 =3 3+1 =4
if 不切分 : 1+1+1+1 = 4
这样不切分的效率就会很高(DAG优化)
1383

被折叠的 条评论
为什么被折叠?