文章目录
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/8897c5d130515b9d32cb4f784c773125.jpeg)
1.概述
今天遇到一个问题,对方的环境总是提示没有资源,然后一直在提交中,然后我看了一下他们的yarn资源如下
发现只有72G,然后已经用了64G,但是我最后一个任务很小,只用2G。按理说不会这样。后面我打开详情查看。
发现任务总体是运行中,但是实际上一直在调度中,在申请资源
然后过了一会报错了,错误信息如下 Slot request bulk is not fulfillable! Could not allocate the required slot within slot request timeout
这里大概猜测是没有资源了。后面我们排查发现,我们最大并行度是8,但是我们的slot是4,这是不对的。但是这个不是我们手动配置的,是根据yarn节点、内存和kafka节点数来计算的,但是计算的不对