强化学习里的好奇心

去年有一篇利用好奇心驱动进行exploration的强化学习文章很有意思(Curiosity-driven Exploration by Self-supervised Prediction)。在大多数真实世界的问题中，外在世界的激励(reward)往往极其稀疏，甚至缺失。得不到反馈的agent则缺乏有效的机制更新自己的策略函数(policy)。 在这种情况下，文章提出了利用内在的好奇心来驱动对世界的探索。

文章举了一个例子：在一个阳光明媚的周末午后，一个三岁小孩在人生中的激励遥不可及的情况下(比如大学，工作，房子，家庭等等)，仍然能够在游乐场上没心没肺的玩耍。作为人类主体(human agent)，她的行为受到了心理学家称之为内在激励(intrinsic motivation)即好奇心的驱动。好奇心是一种学习新知识/技巧的方法，而这些新技巧在未来获得激励时会发挥作用。

好奇心驱动的探索

智能体由两个子系统组成:激励产生器(reward generator)和策略(policy)。前者产生好奇心驱动的内在激励，后者产生用来最大化激励信号的一系列行为。为了使算法不失一般性，假设智能体也可以从环境偶尔获得外在的激励。在时间t，假设内在激励为$r_t^i$，外在激励为$r_t^e$。那么策略子系统用来最大化$r_t=r_t^i+r_t^e$。这里$r_t^e$在多数情况下为0。

具体而言，假设policy $\pi (s_t;{\theta }_P)$被表达为一个参数为${\theta }_P$的深度神经网络，我们需要找到最大化总激励期望值的${\theta }_P$：
$$\underset{{\theta }_P}{\max }{E}_{\pi (s_t;{\theta }_P)}\left[\sum _t{r}_t\right]$$

那么 r t i r_{t}^{i}