强化学习中的好奇心奖励机制

参考视频：李宏毅强化学习系列

参考论文：

Large-Scale Study of Curiosity-Driven Learning

Curiosity-driven Exploration by Self-supervised Prediction

Curiosity-driven Exploration for Mapless Navigation with Deep Reinforcement Learning

Exploration by Random Network Distillation

参考博文：

强化学习——Intrinsic Curiosity Module

想入歪歪，读《Curiosity-driven Exploration by Self-supervised Prediction》

exploration by random network distillation

强化学习中的好奇心驱动学习算法：随机网络精馏探索技术

探索的大胜利——随机网络蒸馏（Random Network Distillation）

在很多场景中，奖励是十分稀疏的，例如：在迷宫里找东西，找到了才有奖励。其余时间都是遥遥无期的探索。如果智能体长期得不到奖励，它将不能学习到任何的行为，最后往往不可能达到我们想要的效果。因此除了从环境中获取奖励之外，我们需要自己定义一些额外的奖励函数，使得奖励变得稠密。

Curiosity

其中一种方法就是基于好奇心（Curiosity）的奖励机制。基本原理是：当下一个状态和智能体的预测不一致时，我们给予奖励，实际状态和预测相差越远，奖励越高，这就是智能体的“好奇心”。

首先我们可以直观想到，我们可以用一个神经网络来进行预测，在智能体训练的过程中，我们也在训练这个网络，这个网络的输入是状态$s_t$和对应要执行的动作$a_t$，输出是下一个step的状态的预测${\hat{s}}_{t+1}$。因此我们只需要对比真实的下一个状态$s_{t+1}$和好奇心网络的预测${\hat{s}}_{t+1}$之间的差距，差距越大，好奇心奖励越大，就能实现这个功能。

然而事情没有这么简单，我们可以设想一下，当预测的输出是个图像的情况下，准确地预测是非常困难的，由于输出的维度过大，也会使得神经网络异常庞大，使得训练时间过长，就算能大致拟合图像，也会有人眼难以观测的差异（参考GAN），这些差异往往能产生巨大的奖励，使智能体怎么也学不到我们想要的东西。推一万步来说，就算我们能够完美模拟输出，我们的模型能够完美代替环境，智能体也不能学到有用的东西，这是因为环境中有很多元素都是随机的，例如风吹草动，白云飘过，这些信息也是环境的一部分，但是却对智能体的训练没有帮助。如果我们不把这些信息过滤掉，那么智能体只需要每时每刻都观察这些信息就能时时刻刻得到好奇心奖励。

现在我们来对好奇心网络进行改进，使其能够过滤掉无用的信息。下面就是Curiosity-driven Exploration by Self-supervised Prediction中提出的方法：

相比于上面的方法，这里的$s_t$ 和 $s_{t+1}$ 要先做特征提取，这是为了过滤掉状态输入中与决策无关的信息，也是为了降维，经过特征提取后产生$\varphi (s_t)$，$\varphi (s_{t+1})$应当只包含用于决策的关键信息，那么如何确定呢？我们只需要把$\varphi (s_t)$，$\varphi (s_{t+1})$输入另外一个网络，然后训练这个网络输出一个动作${\hat{a}}_t$，它应当与实际的$a_t$越接近越好，当这两个特征提取后的向量能够唯一确定一个$a_t$，那么就能确定特征提取后的信息都是有用的信息。

Random Network Distillaiton

原论文：Exploration by Random Network Distillation

Random Network Distillaiton，中文为随机网络蒸馏，简称RND。和Curiosity目标一致，它也通过给智能体添加内在的探索奖励来解决稀疏奖励的问题。两者的核心都是对于没有探索过的状态会给予高奖励，但是对于判断状态是否已经探索过却有不同的方法。

与Curiosity不同，RND拥有两个网络，两个网络的结构一致，输入为状态$s_t$，生成一组向量，其实也就是特征提取。一个网络称为target网络，一开始随机参数后，其参数不再更新。另外一个网络称为Predictor网络，其参数可以不断学习调整，其学习的目标是对于给定相同的状态$s_t$，其输出和Target网络越接近越好。

因此当两个网络的输出差异越大，越说明这个状态是网络之前没有探索过的，我们应当给予更大的奖励，相反当两者趋近于一致时，说明这个状态已经多次遇到，经过了充分的学习，应当给予更小的奖励。其奖励函数公式为：
$$r_{i_t}=||\hat{f}(s_{t+1})-f(s_{t+1})|{|}^2$$
f就是target网络的输出，$\hat{f}$就是预测的值。