skew算法_Skew-Fit

Skew-Fit: State-Covering Self-Supervised Reinforcement Learning. ICML 2020Skew-Fit: State-Covering Self-Supervised Reinforcement Learning​arxiv.org

在 Goal-Conditional 任务中，智能体主要的优化目标包括：最大化

。最大化访问状态的熵，尽可能多的访问更多的状态。

最小化

。在给定目标

的情况下，减小状态的 conditional entropy.

将二者进行结合导出最终的优化目标为最大化

和

的互信息：

从另一个方面，该互信息可以分解为：

分解的两项中，第一项希望学习过程中能够学到如何 reach 尽可能 diverse 的 goal. 这一项在之前的研究中经常被忽略。第二项希望学习过程学习到能够到达目标的 goal-conditional 策略。本文的主要创新点在于如何优化第一项，第二项的优化使用已有的 RIG 算法进行。

1. 最大化

假设目标空间和状态空间是相同