Transforming Cooling Optimization for Green Data Center via Deep Reinforcement Learning 笔记

论文地址

https://arxiv.org/abs/1709.05077

笔记

Abstract

       冷却系统在现代数据中心中扮演关键角色，为数据中心建立一个最优的冷却系统控制策略是具有挑战性的任务。目前主要的方法都依赖于一个通过机械冷却，电气，热力学知识构建的近似系统模型，这个模型很难设计而且可能会导致不满意或者不稳定的表现。
       本文提出了一种利用数据中心中海量监控数据来优化控制策略的方法。我们设计了一种的基于和的离线冷却系统控制策略。我们将冷却控制策略设计转化为具有温度限制的能源成本最小化问题，然后使用新兴的深度强化学习（DRL）框架来解决它。
       具体而言，我们提出了一种端到端（end-to-end）冷却控制算法（CCA），该算法基于演绎-批评者（actor-critic）框架和无策略（off-policy）的离线的深度确定性策略梯度（DDPG）算法。在CCA中，评估网络用以预测由数据中心的冷却状态计算的能耗惩罚函数，策略网络用以在根据当前负载和天气信息时预测最优化控制策略。
       我们在EnergyPlus仿真平台和从新加坡国家超级计算中心（NSCC）收集的真实数据上对算法进行了评估。结果表明，与手动配置的基线算法相比，CCA可以在仿真平台上实现约11％的冷却成本节省。在基于真实数据轨迹的评估中，由于我们无法直接在真实DC上测试算法，我们提出了一种去低估（de-underestimation,DUE）验证机制。即使DUE的结果是保守的，在将入口温度阈值设置为26.6摄氏度的情况下我们仍然可以在NSCC真实数据轨迹上实现约15％的冷却节能。

Introduction

略

Method

EnergyPlus模型

       本文使用了一个EnergyPlus自带的模型，如下图所示：

其中冷却系统由5个参数：
DEC outlet temperature(airflow) Tdec,
IEC outlet temperature (airflow) Tiec,
chilled water loop outlet temperature (water flow) Tcw,
DX cooling coil outlet temperature (airflow) Tdx,
chiller cooling air loop outlet temperature (airflow) Tch
表征，EnergyPlus自带的DefalutE+控制算法也通过控制这5个参数来控制冷却

优化问题

将PUE值和出风温度折合作为惩罚函数，公式1为：

${\mathrm{E}}_{pue}$是数据中心PUE值，T是平均IT设备出风温度，$\varphi$是温度上限。

DDPG

       Q值网络由50，50，3神经元构成，$y_r$是PUE值和IT设备平均出风温度，由此可以计算惩罚