常用RL算法的主要特性

一般来说，RL算法可以分为两类：基于值的方法和基于AC(actor-critic)的算法。基于值的方法受到动态规划中的值迭代算法的启发，而行动者-批评家方法受到策略迭代算法的启发。

RL算法可以是off-policy或on-policy。Off-policy方法可以使用从任何策略采样的数据，以及专家演示(由人工或基于规则的控制器进行)。相反，on-policy方法应该只使用从当前策略采样的数据来更新网络。

On-policy方法通常更快、更稳定，这对于可以快速生成数据的应用程序很有用(例如，如果我们可以访问模拟器)。然而，on-policy方法的采样效率不高，因为它们必须在每次策略更新时丢弃收集到的数据。在实际的HVAC应用中，数据收集速度较慢，因此，off-policy算法可以提供很大的优势。