YARN基于IO资源的隔离调度

最新推荐文章于 2024-07-29 07:00:00 发布

Android路上的人

最新推荐文章于 2024-07-29 07:00:00 发布

阅读量2.1k

点赞数

分类专栏： Hadoop YARN 文章标签： io资源调度 io调度

本文链接：https://blog.csdn.net/Androidlushangderen/article/details/82146341

版权

本文探讨了YARN在内存和CPU资源调度之外，如何考虑IO资源的调度和隔离。IO资源不仅包括存储空间，还可以表示如IOPS、带宽等。通过IO资源调度防止过载，隔离确保不同应用间互不干扰。YARN可以通过增加vdisk字段来表示IO需求，并利用Cgroup的blkio子系统进行IO隔离，包括基于权重的CFQ和IO上限控制。目前该功能虽未完全实现，但具有实际应用场景。

摘要由CSDN通过智能技术生成

前言

众所周知，目前YARN所支持的资源类型主要有2两大类:内存和CPU.但是其实对于操作系统层面，还有一个重要的资源是没有被YARN考虑在内的，就是IO资源，这里的IO资源你可以理解为比如说存储空间的容量，但是它其实也可以有其它的含义。目前YARN这种不考虑IO资源状况的调度方式，会造成有些container会消耗大量的IO资源，尽管可能他们只用了一点点的，内存和CPU资源。所以把IO资源也作为YARN调度的一个需求条件之一，是一个大有好处并且有其使用场景的功能点。