spark的计算分层
最大application 最小task
application —job — stadge —task
application:一个运行程序为一个application
job:一个application中有很多个action操作,一个action就有一个job
stadge: 一个job,从后往前推,遇到宽依赖,划分stadge
task: 在一个stadge中并行运算着很多个task, 一个partiond的内容由一个task处理
spark的计算分层
最大application 最小task
application —job — stadge —task
application:一个运行程序为一个application
job:一个application中有很多个action操作,一个action就有一个job
stadge: 一个job,从后往前推,遇到宽依赖,划分stadge
task: 在一个stadge中并行运算着很多个task, 一个partiond的内容由一个task处理