【笔记2-5】李宏毅深度强化学习笔记（五）Sparse Reward

李宏毅深度强化学习课程 https://www.bilibili.com/video/av24724071

李宏毅深度强化学习笔记（一）Outline
李宏毅深度强化学习笔记（二）Proximal Policy Optimization (PPO)
李宏毅深度强化学习笔记（三）Q-Learning
李宏毅深度强化学习笔记（四）Actor-Critic
李宏毅深度强化学习笔记（六）Imitation Learning
李宏毅深度强化学习课件

Reward Shaping

当reward的分布非常分散时，对于机器而言学习如何行动会十分困难。
比如说要让一个机器人倒水进水杯里，如果不对机器人做任何指导，可能它做很多次尝试，reward都一直是零。（不知道杯子在哪，不知道拿着手上的水壶干嘛，不知道水壶靠近杯子之后应该怎么做）
因此，在训练或指导一个actor去做你想要它做的事情时，需要进行reward shaping

好奇法:

在原来的模型当中，actor与环境做互动，根据环境给的state，采取一定的action，并得到reward。而新的模型引入了一个新的函数，ICM（图中的橙色部分）

ICM函数将 $s_t,a_t,s_{t+1}$ 作为输入，得到一种新的reward $r^i$，actor的目标现在变为最大化两个部分的reward，即 $r$ 和 r i