【深度学习】论文推荐：DeepRM——系统自己学习管理自己的资源

推荐一篇关于DeepRM的论文

《Resource Management with Deep Reinforcement Learning》

系统和网络中的资源管理问题已经是计算机系统中一个很常见的问题，通常表现为困难的在线决策任务，其包括集群的作业调度、云计算中虚拟机的放置、视频流中的比特率自适应、拥塞控制等，适当的解决方案依赖于对工作负载和环境的理解。

目前大部分问题都使用了启发式的方法解决了，这种启发式方法典型的设计流程是：

（1）为简化的问题模型并提出启发式方法;

（2）在实践中不断测试和调整启发式方法以获得良好的性能。 如果问题的某些方面（例如负载或度量）发生变化，则通常必须重复此过程。

那么之所以资源管理比较具有挑战性有以下几点原因：

（1）系统本身很复杂，并且很难去为它准确的建模；

（2）实际的实例化需要在有噪声输入的情况下做出在线决策，并且还需要在不同的条件下运行的很好；

（3）一些性能指标很难以一定的原则进行优化。

受人工智能问题深度强化学习最近取得的进展的启发，这篇论文中作者构建能够直接从经验学习管理资源的系统。本文提出DeepRM，这是一个示例解决方案，它是一个简单的集群资源调度器，将深度强化学习的方法应用到系统的资源管理上，DeepRM将多资源维度下的任务打包问题转化为了一个学习问题，通过反馈学习来优化各种目标进而保证资源管理的高效性，例如最小化作业完成时间等。DeepRM不需要提前知道系统的一些知识，即它刚开始对手头的任务是一无所知的，它直接通过和系统交互产生的经验来进行更好的决策，根据它在任务中的表现得到的奖励来进行学习。本文表明，将深度强化学习技术应用于大规模系统是可行的。实验表明，对于多资源集群调度问题，Deep