基于Pytorch的强化学习(DQN)之Q-learning

最新推荐文章于 2024-08-07 11:07:15 发布

ZDDWLIG

最新推荐文章于 2024-08-07 11:07:15 发布

阅读量1.9k

点赞数 3

分类专栏：深度学习文章标签：深度学习

本文链接：https://blog.csdn.net/ZDDWLIG/article/details/123740030

版权

深度学习专栏收录该内容

23 篇文章 12 订阅

订阅专栏

1. 引言

2. 数学推导

3. 算法

1. 引言

我们上次已经介绍了Saras算法，现在我们来学习一下和Saras算法非常相似的一个算法:

Q-learning算法。

Q-learning是一种用于机器学习的强化学习技术。 Q-learning的目标是学习一种策略，告诉Agent在什么情况下要采取什么行动。它不需要环境模型，可以处理随机转换和奖励的问题，而无需进行调整。

对于任何有限马尔可夫决策过程（FMDP），Q学习找到一种最优的策略，即从当前状态开始，它在任何和所有后续步骤中最大化总奖励的预期值。在给定无限探索时间和部分随机策略的情况下，Q学习可以为任何给定的 FMDP 确定最佳动作选择策略。“Q”命名函数返回用于提供强化的奖励，并且可以说代表在给定状态下采取的动作的“质量”。

Q-learning算法与Saras算法区别在于Q-learning是学习最优动作价值函数 $Q^*$ ，而Saras是学习动作价值函数 $Q_{\pi}$ 。

2. 数学推导

我们上次推导出了动作价值函数的递推公式 $Q_{\pi}(s_t,a_t)=E[R_t+\gamma Q_{\pi}(S_{t+1},A_{t+1})]$ ，现在我们选取最优策略 $\pi^*$ ，由最优动作价值函数的定义，我们得到 $Q^*(s_t,a_t)=E[R_t+\gamma Q^*(S_{t+1},A_{t+1})]$

对于含有随机变量的 $Q^*(S_{t+1},A_{t+1})$ 我们先将其写成最大化的形式，由优化目标我们有： $A_{t+1}=\underset{a}{argmax}\,Q^*(S_{t+1},a)$

于是得到

$Q^*(S_{t+1},A_{t+1})=\underset{a}{max}\,Q^*(S_{t+1},a)$

那么

$Q^*(s_t,a_t)=E[R_t+\gamma \underset{a}{max}\,Q^*(S_{t+1},a)]$

这个式子中含有随机变量 $R_t,S_{t+1}$ ，我们使用蒙特卡罗算法来近似这个期望：由 $r_t\approx R_t,s_{t+1}\approx S_{t+1}$

我们得到

$Q^*(s_t,a_t)\approx E[r_t+\gamma \underset{a}{max}\,Q^*(s_{t+1},a)]$

于是我们将

$r_t+\gamma \underset{a}{max}\,Q^*(s_{t+1},a)$ 作为TD target 使用TD 算法具体步骤如下：

观测到state transtition $(s_t,a_t,r_t,s_{t+1})$
计算TD target $y_t=r_t+\gamma \underset{a}{max}\,Q^*(s_{t+1},a)$
计算TD error $\delta_t=Q^*(s_t,a_t)-y_t$
更新最优动作价值函数 $Q^*(s_t,a_t)\leftarrow Q^*(s_t,a_t)-\alpha \delta_t$

上面的 $\underset{a}{max}\,Q^*(s_{t+1},a)$ 可以从Q表中获取，我们只需要从第 $s_{t+1}$ 行搜索出最大的 $Q^*(s_{t+1},a)$ 即可

3. 算法

用神经网络 $q(s,a;w)$ 来近似 $Q^*(s,a)$
计算TD target: $y_t=r_t+\gamma q_(s_{t+1},a_{t+1};w)$
计算TD error: $\delta_t=q(s,a;w)-y_t$
损失函数loss： $\frac{\delta_t^2}{2}$
梯度下降: $w\leftarrow w-\alpha\delta_t\frac{\partial \,q(s,a;w)}{\partial \,w}$

伪码如下

ZDDWLIG

关注

3
点赞
踩
5

收藏

觉得还不错? 一键收藏
2
评论
基于Pytorch的强化学习(DQN)之Q-learning

目录1. 引言2. 数学推导3. 算法1. 引言我们上次已经介绍了Saras算法，现在我们来学习一下和Saras算法非常相似的一个算法:Q-learning算法。Q-learning是一种用于机器学习的强化学习技术。 Q-learning的目标是学习一种策略，告诉Agent在什么情况下要采取什么行动。它不需要环境模型，可以处理随机转换和奖励的问题，而无需进行调整。对于任何有限马尔可夫决策过程（FMDP），Q学习找到一种最优的策略，即从当前状态开始，它在任何和所有后续
复制链接

扫一扫

专栏目录