【RL】(task1)马尔科夫过程、动态规划、DQN

山顶夕景

已于 2024-01-20 15:26:03 修改

阅读量1k

点赞数 21

分类专栏： # 强化学习深度学习文章标签：动态规划强化学习深度学习马尔科夫过程

于 2024-01-16 00:10:20 首次发布

本文链接：https://blog.csdn.net/qq_35812205/article/details/134300601

版权

深度学习同时被 2 个专栏收录

145 篇文章 131 订阅

订阅专栏

强化学习

8 篇文章 0 订阅

订阅专栏

本文介绍了马尔科夫过程的概念，以及动态规划在计算状态/动作值函数中的应用，重点讲解了DQN算法，包括其基本思想、训练过程和ε-greedy策略。文章还阐述了如何通过深度学习近似Q函数，以求解强化学习中的最优决策问题。

摘要由CSDN通过智能技术生成

note

一、马尔科夫过程

递归结构形式的贝尔曼方程计算给定状态下的预期回报，这样的方式使得用逐步迭代的方法就能逼近真实的状态/行动值。
有了Bellman equation就可以计算价值函数了
马尔科夫过程描述了一个具有无记忆性质的随机过程，未来状态只依赖于当前状态，与过去状态无关，类似于一个人在空间中的随机游走。

二、动态规划

动态规划：多阶段决策问题的方法，它将问题分解为一系列的子问题，并通过保存子问题的解来构建整体问题的解。

贝尔曼方程

$\qquad$ 类比于回报公式 $G_{t} = R_{t+1}+\gamma G_{t+1}$ ，也可以对状态价值函数和动作价值函数做一个类似的推导，如下：

$\begin{aligned} V_{\pi}(s) & =\mathbb{E}_{\pi}\left[G_t \mid S_t=s\right] \\ & =\mathbb{E}_{\pi}\left[R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+\cdots \mid S_t=s\right] \\ & =\mathbb{E}\left[R_{t+1} \mid s_t=s\right]+\gamma \mathbb{E}\left[R_{t+2}+\gamma R_{t+3}+\gamma^2 R_{t+4}+\cdots \mid S_t=s\right] \\ & =R(s)+\gamma \mathbb{E}\left[G_{t+1} \mid S_t=s\right] \\ & =R(s)+\gamma \mathbb{E}\left[V_{\pi}\left(s_{t+1}\right) \mid S_t=s\right] \\ & =R(s)+\gamma \sum_{s^{\prime} \in S} P\left(S_{t+1}=s^{\prime} \mid S_{t}=s\right) V_{\pi}\left(s^{\prime}\right)\\ & =R(s)+\gamma \sum_{s^{\prime} \in S} p\left(s^{\prime} \mid s\right) V_{\pi}\left(s^{\prime}\right) \end{aligned}$

$\qquad$ 其中 $R (s)$ 表示奖励函数， $P(S_{t+1}=s^{\prime} \mid S_{t}=s)$ 就是前面讲的状态转移概率，习惯简写成 $p\left(s^{\prime} \mid s\right)$ ，这就是贝尔曼方程（Bellman Equation）。贝尔曼方程的重要意义就在于前面所说的满足动态规划的最优化原理，即将前后两个状态之间联系起来，以便于递归地解决问题。

$\qquad$ 类似地，动作价值函数贝尔曼方程推导为：

$Q_{\pi}(s,a) = R(s,a) + \gamma \sum_{s^{\prime} \in S} p\left(s^{\prime} \mid s,a\right) \sum_{a^{\prime} \in A} \pi\left(a^{\prime} \mid s ^{\prime} \right)Q_{\pi}\left(s^{\prime},a'\right)$

$\qquad$ 前面我们提到状态价值函数的定义就是按照某种策略 $\pi$ 进行决策得到的累积回报期望，换句话说，在最优策略下，状态价值函数也是最优的，相应的动作价值函数也最优。我们的目标是使得累积的回报最大化，那么最优策略下的状态价值函数可以表示为：

$\begin{aligned} V^{*}(s)&=\max _a \mathbb{E}\left[R_{t+1}+\gamma V^{*}\left(S_{t+1}\right) \mid S_t=s, A_t=a\right] \\ &=\max_a \sum_{s',r}p(s',r|s,a)[r+\gamma V^{*}(s')] \end{aligned}$

$\qquad$ 这个公式叫做贝尔曼最优方程（Bellman optimality equation），它对于后面要讲的策略迭代算法具有一定的指导意义。对于动作价值函数也是同理，如下：
$\begin{aligned} Q^{*}(s, a) & =\mathbb{E}\left[R_{t+1}+\gamma \max _{a^{\prime}} Q^{*}\left(S_{t+1}, a^{\prime}\right) \mid S_t=s, A_t=a\right] \\ & =\sum_{s^{\prime}, r} p\left(s^{\prime}, r \mid s, a\right)\left[r+\gamma \max _{a^{\prime}} Q^{*}\left(s^{\prime}, a^{\prime}\right)\right] \end{aligned}$

DQN算法

DQN算法的基本思想是使用一个深度神经网络作为智能体的Q函数近似器。Q函数表示在给定状态下采取某个动作的预期回报值。算法通过不断地在环境中与智能体的交互过程中，收集样本数据，然后使用这些数据来训练Q网络，使其能够预测最优的行动选择。

DQN算法的训练过程可以分为以下几个步骤：

初始化一个深度神经网络作为Q函数的近似器。
在每个时间步，智能体观察当前的状态，并根据当前状态选择一个动作。选择动作时可以使用ε-greedy策略，即以ε的概率随机选择动作，以1-ε的概率选择当前Q值最高的动作。
智能体执行选择的动作，与环境进行交互，并观察得到的奖励和下一个状态。
将当前状态、选择的动作、得到的奖励和下一个状态组成一个样本，存储在经验回放缓冲区中。
从经验回放缓冲区中随机采样一批样本，用于训练Q网络。训练过程中使用目标Q网络和当前Q网络的差异来计算损失，并通过反向传播算法来更新网络参数。
定期更新目标Q网络的参数，将当前Q网络的参数复制给目标Q网络。
重复步骤2至步骤6，直到达到预先设定的停止条件或训练轮数。

通过这样的训练过程，DQN算法能够逐步优化Q网络的参数，使其能够更准确地预测每个状态下的最优动作，并实现智能体在环境中做出最优决策的能力。

时间安排

任务	天数	截止时间
Task01: 马尔可夫过程、DQN算法	3天	1月15周一-17日周三
Task02: 策略梯度算法	3天	1月18日周四-20周六
Task03: A2C、A3C算法、JoyRL开源文档（关注多进程）	3天	1月21日周日-23日周二
Task04: DDPG、TD3算法	3天	1月24日周三-26日周五
Task05: PPO算法，JoyRL代码实践(选择任一算法任一环境，研究算法不同参数给实验结果带来的影响，也可以用JoyRL上没有跑过的环境尝试)	6天	1月27日周六-2月1号周四