【强化学习】 Planning By Dynamic Programming

参考资料

周博磊 Lecture 2: https://github.com/zhoubolei/introRL/blob/master/lecture2.pdf
David Silver Planning By DP: https://www.davidsilver.uk/wp-content/uploads/2020/03/DP.pdf

MDP中的决策问题

有两类：Prediction 和 Control

Policy Evaluation

利用Bellman方程不断迭代，直至$v_{\pi }(s)$收敛。

demo： https://cs.stanford.edu/people/karpathy/reinforcejs/gridworld_dp.html
例子中 $\gamma =0.9$

$$V^{\pi }(s)=\sum _a\pi (s,a)\sum _{s^{\prime }}{\mathcal{P}}_{s{s}^{\prime }}^a\left[{\mathcal{R}}_{s{s}^{\prime }}^a+\gamma V^{\pi }(s^{\prime })\right]$$

Policy Improvement

贪婪的action能够improve policy。

Policy Iteration

Policy Evaluation 和 Policy Improvement的重复迭代。

Value Iteration

每次都选最优的value function。