从零实践强化学习之基于表格型方法求解RL(PARL)

第二天的课程主要在第一天的基础上开始的,科老师用了很多例子,把许多很难理解的内容讲的非常明白,那我在这里也整理一下,并结合我自己的理解,跟各位分享。

首先是强化学习的四元组

强化学习MDP四元组< S, A, P, R >

这是一个跟时间相关的序列决策问题:

• 在 t-1 时刻,我看到了熊对我招手,那么我下意识的动作即输出的动作是马上逃跑
• 那么在t时刻,熊看到我在跑,就认为发现了猎物,便会发动攻击,这时如果选择装死
• 那么在 t+1 时刻,熊可能会选择离开,这时我们再选择逃跑,那么大概率就能逃跑成功

不过,其实在输出每一个动作之前,都可以有选择的,也就是说,在 t 时刻也可以选择跑路,这时就有一个概率叫作状态转移概率,表示在$S_t$的状态下选择动作$A_t$的时候,转移到下一个状态$S_{t+1}$的概率。

这是符合马尔可夫的,因为状态转移概率是取决于当前的状态$S_t$的,和之前的$S_{t-1}$、$S_{t-2}$都没有关系,并且这个过程也取决于智能体和环境交互的动作 a t a_t a