深度强化学习-笔记02

这次的任务我个人认为还是比较多的，很多涉及数学公式的内容，推公式就比较难。

1.马尔可夫决策过程(MDP)

这里先介绍强化学习中agent与environment的交互过程，如下图：

agent在得到环境的状态过后，它会采取行为，它会把这个采取的行为返还给环境。环境在得到agent的行为过后，它会进入下一个状态，把下一个状态传回agent。这个交互的过程是可以通过MDP来表示的。在在马尔可夫决策过程中，它的环境是 fully observable ，就是全部可以观测的。但是很多时候环境里面有些量是不可观测的，但是这个部分观测的问题也可以转换成一个 MDP 的问题。

介绍马尔可夫奖励过程。
马尔可夫奖励过程(Markov Reward Process, MRP) 是马尔可夫链再加上了一个奖励函数。在 MRP 中，转移矩阵跟它的这个状态都是跟马尔可夫链一样的，多了一个奖励函数(reward function)。奖励函数是一个期望，就是说当你到达某一个状态的时候，可以获得多大的奖励，然后这里另外定义了一个 discount factor γ

Bellman Equation（贝尔曼等式） 定义了当前状态跟未来状态之间的这个关系

未来打了折扣的奖励加上当前立刻可以得到的奖励，就组成了这个Bellman Equation。Bellman Equation的推导过程如下:

Bellman Equation 定义了状态之间的迭代关系。假设有一个马尔可夫转移矩阵是右边这个样子。Bellman Equation 描述的就是当前状态到未来状态的一个转移。假设我们当前是在 s_1， 那么它只可能去到三个未来的状态：有 0.1 的概率留在它当前这个位置，有 0.2 的概率去到 s_2状态，有 0.7 的概率去到 s_4的状态，所以我们要把这个转移乘以它未来的状态的价值，再加上它的 immediate reward 就会得到它当前状态的价值。所以Bellman Equation 定义的就是当前状态跟未来状态的一个迭代的关系。

相对于 MRP，马尔可夫决策过程(Markov Decision Process)多了一个 decision，其它的定义跟 MRP 都是类似的。这里我们多了一个决策，多了一个 action ，那么这个状态转移也多了一个 condition，就是你采取某一种行为，然后你未来的状态会不同。它不仅是依赖于你当前的状态，也依赖于在当前状态你这个 agent 它采取的这个行为会决定它未来的这个状态走向。对于这个价值函数，它也是多了一个条件，多了一个你当前的这个行为，就是说你当前的状态以及你采取的行为会决定你在当前可能得到的奖励多少。