Skew-Fit是一种自我监督的强化学习算法，旨在最大化状态覆盖的熵，同时最小化条件熵。它通过优化目标状态的多样性与到达目标的策略，促进智能体在环境中更全面的探索。算法利用importance sampling处理稀有状态，并通过SIR减少方差。实验表明，Skew-Fit在迷宫、连续控制及机械臂任务中展现出优秀的探索和学习能力。
Skew-Fit: State-Covering Self-Supervised Reinforcement Learning. ICML 2020Skew-Fit: State-Covering Self-Supervised Reinforcement Learningarxiv.org
在 Goal-Conditional 任务中，智能体主要的优化目标包括：最大化
。最大化访问状态的熵，尽可能多的访问更多的状态。
最小化
。在给定目标
的情况下，减小状态的 conditional entropy.
将二者进行结合导出最终的优化目标为最大化
和
的互信息：
从另一个方面，该互信息可以分解为：
分解的两项中，第一项希望学习过程中能够学到如何 reach 尽可能 diverse 的 goal. 这一项在之前的研究中经常被忽略。第二项希望学习过程学习到能够到达目标的 goal-conditional 策略。本文的主要创新点在于如何优化第一项，第二项的优化使用已有的 RIG 算法进行。
1. 最大化
假设目标空间和状态空间是相同
最低0.47元/天 解锁文章
746
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
