强化学习2-策略,状态值函数,动作值函数

在明白了马尔科夫流程了(上一节)之后,我们可以真正的谈一谈策略

首先:什么是策略

策略就是智能体在面对不同的S(状态)时选择动作过程一般用π表示, 所以可知实际上策略就是我们要的最终成果, 而策略又分为两种: 决定性策略和随机性策略

决定性策略

决定性策略是一种状态与动作的映射关系, 是一种将状态与动作相互绑定的一种状态, 比如开车, 看到红灯则停止, 看见绿灯则运行, 策略在中间起到映射的作用, 可以将策略理解成工厂, 输入状态得到相应的动作表示为:
S --> 策略 --> A : π S->A

随机性策略

随机性策略是一种状态和动作对概率的一个映射,之前捡垃圾的机器人就是一个很典型的随机性策略, 比如: 机器人在电量高的时候是否去搜索是不确定的, 这时候政策课可以表示为:
S,A --> 策略 -->S状态下选择A动作的概率
可表示为: π ( a ∣ s ) = P ( A t = a ∣ S t = s ) π(a|s) = P(A_{t}=a|S_{t}=s)