记一次doris任务出错--内存爆满

1.问题

doris集群新增调度任务后，任务出错频率很高，报错内容：Process has no memory available, cancel top memory used load
查看Doris监控内存状况如下：

新增任务后内存波动非常大，峰值达到服务器80%的上限，导致任务失败。

2.解决思路

结合对我们数据的了解及各个任务运行数据量的大小，考虑到是因为大任务并行导致集群资源波动大，峰值过高。所以我们将大任务做强制依赖，错峰出行。比如任务A、B、C之间没有血缘关系，我们强制让任务A依赖于任务B，任务B依赖任务C。调整后资源问题优化效果明显：