文章目录 1.Job的提交过程 2.怎么实现并行计算? 3.JobManager上的任务执行图是怎样生成的? 4.并行任务需要占用多少个slot? 5.子任务和slot是怎么分配的? 6.总结: 1.Job的提交过程 2.怎么实现并行计算? 并行度:某个算子被切分为多少个算子子任务为算子的并行度。一般情况下,一个stream的并行度,可以认为是其中所有算子中最大的并行度。 在代码中可以自定义算子的并行度 ,这样数据可以分配到三个并行的flatMap的任务中,同时做计算。 var resultDatastream: DataStream[(String, Int)] = inputDataStream