11.25学习强化学习第三天——动态规划寻找最优策略

强化学习之路2（动态规划寻找最优策略）

本文还是借鉴知乎大神叶强的文章，如有侵权，会删除，本文只是自己得到的一点思考。

简介

动态规划算法是解决复杂问题的一个方法，算法通过把复杂问题分解为子问题，通过求解子问题进而得到整个问题的解。在解决子问题的时候，其结果通常需要存储起来被用来解决后续复杂问题。当问题具有下列特性时，通常可以考虑使用动态规划来求解：第一个特性是一个复杂问题的最优解由数个小问题的最优解构成，可以通过寻找子问题的最优解来得到复杂问题的最优解；子问题在复杂问题内重复出现，使得子问题的解可以被存储起来重复利用。
马尔科夫决定过程（MDP）具有上述两个属性：Bellman方程把问题递归为求解子问题，价值函数就相当于存储了一些子问题的解，可以复用。因此可以使用动态规划来求解MDP。
分为两个问题

1. 预测问题
   2. 控制问题
   自己想的就是是否可以利用强化学习问题去做一些控制问题。
   

迭代法策略评估Iterative Policy Evaluation