【论文笔记】分布型强化学习（Distributional RL）专题5篇

引子

基于Q-learning 的 Distributional RL。学习的目标是一个Q的分布，而非一个值。

如上面的游戏中，agent预测了下一时刻可能的reward的分布，传统的Q-learning 的 reward就是这个reward分布的期望。
核心思想就是：学习一个值而不是一个分布，保留更多信息。
事实上，保留更多Q的信息确实能够让模型训练得更好。

A Distributional Perspective on Reinforcement Learning, Bellemare et al, 2017. Algorithm: C51.

这是值分布的开山之作。
与DQN相比：

• 相同点
  • value-based
  • ϵ−greedy
  • 单独目标网络
• 不同点
  • 输出的是价值的概率
  • 使用KL散度作为损失函数

这里的Z就是动作价值的分布。对Z求期望结果就是Q值。
C51和DQN相比，大致示意图就是这样的：（从点到分布）

论文埋下了一个伏笔，理论证明内容的距离和“KL”散度对应的距离不同。在下一篇论文中得到了解释。

Distributional Reinforcement Learning with Quantile Regression, Dabney et al, 2017. Algorithm: QR-DQN.

一开始作者们并没有想到合适的方法模拟Wasserstein Metric这个过程，于是提出了使用KL散度做近似的想法。
实际上，基于这个想法提出的C51算法确实效果不错。然而，紧接着作者们又提出了更“正统”的算法QR-DQN，它继承了最开始的理论想法。
现在，他们通过Wasserstein距离作为距离度量，实现了理论的完善。

这个距离又称最小推土机距离。用来衡量两个分布最少要移动多少才能重合。

在连续型分布中，就是看两个概论分布之间的面积大小。

Implicit Quantile Networks for Distributional Reinforcement Learning, Dabney et al, 2018. Algorithm: IQN.

distributional RL最关键的应用是risk-aware。
对网络噪声作相应的参数变换，差生特定的风险偏好。
风险参数表示方法：

输入为状态 s和一个采样 τ ，输出不同离散动作对应的价值函数分布的 τ分位数。这样训练出来的、具有不同风险偏好的网络在各方面也有不同的表现。

在上图中，如Wang（.75）就比较乐观，倾向于乐观估计动作价值。后面四种则更多地把注意力放在一些会带来负收益的动作上。

值得一提的是，在Atari中risk-averse性能更好。

Dopamine: A Research Framework for Deep Reinforcement Learning, Anonymous, 2018. Contribution: Introduces Dopamine, a code repository containing implementations of DQN, C51, IQN, and Rainbow. Code link.

一个专用于视频游戏训练结果的平台。
含有DQN、C51、简化版的 Rainbow 智能体和 IQN。

基于tensorflow的，没有仔细看代码。

环境配置教程：
https://cloud.tencent.com/developer/article/1541880

---

都看到这里了，就顺手点个赞吧~