七、在webUI上分析parallelism
1.集群情况
3个taskManager,每个taskmanager有4个slot,共12slot,完全被占用,0个Available。
2.job使用parallelism情况
Reduce操作和DataSink操作都是12个parallelism,正好占完所有的slot.
3.查看具体的操作执行情况
不难看出,每个机器上有4个subtask在执行,实际上就是thread。
4.查看具体的操作调度情况
可以分析出,各个subtask在相应的机器上的调度时间。
5.job在terminal中的执行情况
从terminal输出的日志不难看出各个操作符号的subtask的执行情况