exploration by random network distillation

看了半天这篇文章给的源码，大概思路能理解，但是要完全读明白OpenAI的代码，感觉有点难，没什么注释，还缺少文件。

这篇文章读下来是基于18年Deepmind提出的一种不确定性度量法。

随后OpenAI，就是用这个这个思想在这个内部奖励/好奇心/内在动机的思路中。

并且取得了相对可观的效果。

首先讨论了以下以前提出的基于table的counts based方法以及non-table的pseudo-counts的方法。

之后开始介绍

主要是随机初始化一个fixed以及random init的Net

以及一个经过训练的预测Net

优化目标

很好理解，就是让预测网络和fixed的网络尽可能接近。
内部奖励被定义为：两个相减的差距。这个想法和我上一篇写的那个基于KL的k step 的方法极其类似。

也就是经常见到的状态in reward会很低，相反会很高。

伪代码如下：恕我实在读不太明白他的代码，但是整体思路和伪代码一样，只是细节上很有一些不同。