为什么DRL的loss不是趋于下降的

较低的loss意味着对当前policy的价值预测更准确（对于Q-learning非政策估计来说更复杂，但覆盖度仍将受到当前政策中可达到的经验的限制）。不幸的是，RL中的损失度量不能表示到该政策有多好。

因此，这意味着你的policy已经稳定在一个模式中，你的Q神经网络可以很好地估计价值。由于某种原因，它没有发现对该政策的改进–通常它应该在损失指标下降之前这样做，因为价值估计的每一次改进都应该选取更好的动作，而一旦policy采取了新的动作，价值估计就会过时，导致损失再次增加。

参考