本文介绍了强化学习中策略迭代法的原理与实现，包括q函数和v函数的转换、Bellman方程及其应用。重点讨论了策略更新值函数的Epsilon贪心法和Boltzman方法，以及动态规划、蒙特卡洛和时序差分三种值函数更新策略的理论与实践。
博主的github链接，欢迎大家来访问~：https://github.com/Sh-Zh-7
强化学习经典算法实现地址：https://github.com/Sh-Zh-7/reinforce-learning-impl
在第一篇博文的时候，我们已经把强化学习的目标给介绍了，基本上就是围绕两个价值函数和策略。
但是求解这个问题并没有那么简单，一个显然的困难就是我们在改变策略的时候，价值函数也会发生变化，如何处理这个问题就是我们今天算法的核心。
0. 关于这两个价值函数
为了更深入地了解这个问题，我们应该更深入地思考这两个价值函数，下面我直接给出他们的性质：
（1）q函数和v函数互转：
- q转v：
v转q：
![q_{\pi}(s_t,a_t)=\sum_{s_{t+1}}p(s_{t+1}|s_t,a_t)[r_{a_t}^{s_{t+1}} + \gamma * v_{\pi}(s_{t+1})]](https://i-blog.csdnimg.cn/blog_migrate/5c88840900980fb55ce34060578ff312.gif)
有了这个性质，我们知道v就可以求q了。
最低0.47元/天 解锁文章
740
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
