博主的github链接,欢迎大家来访问~:https://github.com/Sh-Zh-7
强化学习经典算法实现地址:https://github.com/Sh-Zh-7/reinforce-learning-impl
在第一篇博文的时候,我们已经把强化学习的目标给介绍了,基本上就是围绕两个价值函数和策略。
但是求解这个问题并没有那么简单,一个显然的困难就是我们在改变策略的时候,价值函数也会发生变化,如何处理这个问题就是我们今天算法的核心。
0. 关于这两个价值函数
为了更深入地了解这个问题,我们应该更深入地思考这两个价值函数,下面我直接给出他们的性质:
(1)q函数和v函数互转:
- q转v:
v转q:
有了这个性质,我们知道v就可以求q了。