【RL】--马尔可夫决策

核心思想
S_t+1的状态，只由再S_t时刻采取的行动有关，与历史时刻无关。
即：未来只与现在有关，与过去无关。

马尔可夫过程

马尔可夫链
对上述一系列的马尔可夫过程进行组合，就可以形成马尔可夫链。
S₁、S₂、S₃、…S_n

马尔可夫决策过程（Markov Decision Process（MDPs））


value function
value function可以分为状态价值函数v(s)和动作价值函数q(s,a):

这一点用在了改进的DQN算法Dueling DQN上面。
具体可以看：
https://blog.csdn.net/xgyyxs/article/details/103300045

如何得到最优策略

上面介绍了关于马尔可夫的基础介绍，下面讲一下怎么得到最优策略

因为马尔可夫策略是基于价值的，找到最优策略也就是找到每一步最大的价值函数
最大价值函数可以分为四种情况，分别是：

• 从action到state
• 从state 到action
• 从action到action
• 从state 到state

下面介绍一下这四种情况的价值函数怎么计算：

上图中的下面两种情况为上面两种情况的组合。

参考文献：

https://blog.csdn.net/LagrangeSK/article/details/81028260