【强化学习】马尔可夫决策与表格型方法

最新推荐文章于 2024-07-18 16:25:07 发布

言潇然

最新推荐文章于 2024-07-18 16:25:07 发布

阅读量81

点赞数

分类专栏：【强化学习】文章标签：人工智能

本文链接：https://blog.csdn.net/NG_Hao/article/details/125810154

版权

【强化学习】专栏收录该内容

3 篇文章 0 订阅

订阅专栏

基于状态值函数的贝尔曼方程：

$v_{\pi }(s)= \sum_{a}^{}\pi (a\mid s)\sum_{{s'},r}^{}p({s'},r)\mid s,a)\left [ r(s,a)+\gamma v_{\pi }(s') \right ]$

基于动作值的贝尔曼方程：

$q_{\pi }(s,a)= \sum_{{s'},r}^{}p({s'},r)\mid s,a)\left [ r(s',a)+\gamma v_{\pi }(s') \right ]$

马尔可夫决策过程根据环境是否已知可以分为有模型和免模型两类：

其中有模型决策过程可以使用概率函数 $P\left [ s_{t+1},r_{t}\mid s_{t},a_{t} \right ]$ 和奖励函数 $R\left [ s_{t},a_{t}\right ]$ 来描述环境（已知），求解过程可以使用动态规划算法；

而免模型决策过程应用在未知环境下，以试错探索的方式，用价值函数 $V\left ( S \right )$ 来表示状态好坏，用 $Q$ 函数判断什么状态下采取什么动作能取得最大奖励。

强化的概念：

用下一个状态的价值来更新当前状态的价值。

处理马尔可夫决策过程的三种方法：

时序差分， $V\left ( s_{t} \right )\leftarrow V\left ( s_{t} \right )+\alpha \left ( r_{t+1} +\gamma V\left ( s_{t+1} \right )-V\left ( s_{t} \right )\right )$

动态规划， $V\left ( s_{t} \right )\leftarrow E_{\pi}\left [ r_{t+1}+\gamma V\left ( s_{t+1} \right ) \right ]$

蒙特卡洛， $V\left ( s_{t} \right )\leftarrow V\left ( s_{t} \right )+\alpha \left ( G_{t}-V\left ( s_{t} \right )\right )$

$Q$ 函数更新算法 $Sarsa$ ：

$Q\left ( S, A \right )\leftarrow Q\left ( S, A \right )+\alpha \left ( R+\gamma Q\left ( S', A' \right )-Q\left ( S,A \right ) \right )$

$Q$ 函数更新算法 $Q-Learning$ ：

$Q\left ( s_{t}, a_{t} \right )\leftarrow Q\left ( s_{t}, a_{t} \right )+\alpha \left ( r_{t+1}+\gamma \underset{a}maxQ\left ( s_{t+1} , a \right )-Q\left ( s_{t}, a_{t} \right ) \right )$