14.3 QR-DQN (Quantile Regression DQN)算法
QR-DQN(Quantile Regression DQN)是一种强化学习算法,它是深度 Q-网络(Deep Q-Network,DQN)的一个变种,旨在更好地处理值函数的不确定性。QR-DQN引入了分位数回归的概念,以估计值函数的分布,而不是传统的单一值估计。
14.3.1 QR-DQN算法的核心思想
QR-DQN(Quantile Regression DQN)算法的核心思想是将值函数表示为一个分布,而不是传统的单一值估计。这个分布可以提供有关值函数不确定性的更多信息。QR-DQN通过引入分位数回归的概念来实现这一目标。
- 值函数分布表示:QR-DQN的核心思想是将值函数表示为一个分布,而不是单一的值。这个分布表示了在每个状态-动作对下可能的回报值的不确定性。分布由一组分位数(quantile)来参数化,而不是单一的期望值。
- 分位数回归: