该研究探讨了在熵正则化的探索性扩散过程框架下，连续时间强化学习（RL）的q-Learning。针对传统Q函数在连续时间中消失的问题，提出了称为“小q函数”的一阶逼近，并与瞬时优势率函数和哈密顿函数相关联。无论是在在线策略还是离线策略环境中，都通过马尔科夫过程的条件来表征相关的小q函数和价值函数。这些理论被用于设计不同的actor-critic算法解决RL问题，具体取决于是否可以显式计算从q函数生成的吉布斯分布的密度函数。实验比较了算法与基于PG的方法和离散时间Q-learning算法的性能。
【论文原文】：q-Learning in Continuous Time
【作者信息】：
| Yanwei Jia |
| Xun Yu Zhou |
获取地址：
22-0755.pdf (jmlr.org)
https://www.jmlr.org/papers/volume24/22-0755/22-0755.pdf博主关键词：continuous-time reinforcement learning, policy improvement, q-function,
martingale, on-policy and off-policy
摘要：
We study the continuous-time counterpart of Q-learning for reinforcement learning (RL) under the entropy-regularized, exploratory diffusion process formulation introduced b
最低0.47元/天 解锁文章
14万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
