1.问题
doris集群新增调度任务后,任务出错频率很高,报错内容:Process has no memory available, cancel top memory used load
查看Doris监控内存状况如下:
新增任务后内存波动非常大,峰值达到服务器80%的上限,导致任务失败。
2.解决思路
结合对我们数据的了解及各个任务运行数据量的大小,考虑到是因为大任务并行导致集群资源波动大,峰值过高。所以我们将大任务做强制依赖,错峰出行。比如任务A、B、C之间没有血缘关系,我们强制让任务A依赖于任务B,任务B依赖任务C。调整后资源问题优化效果明显: