《Reinforcement Learning》 读书笔记 4：动态规划（Dynamic Programing）

《Reinforcement Learning: An Introduction》 读书笔记 - 目录

为了求解价值函数，或更一步得到最优策略，可以解Bellman方程组，但是当状态集太大时，求解的复杂度太高，所以这一章主要介绍了一些迭代的方式来逼近精确解，在不损失精度的情况下，大幅减少复杂度（对state-value function来说，一般是$O(|\mathcal S|^k)$，即状态数量的多项式）

一些前提说明

• 接下来的几章主要说明的是一种tabular solution的解法，也就是基于表格的解法
• 因为state，action的数量有限，所以value可以是一个state的一维表（数组，map），也可以是一个state-action的二维表（数组，map）
• 这一章的动态规划从形态上来看，和经典的动态规划算法上没什么区别

Policy Evaluation

• 问题：已知$\pi$，怎么更快地计算value-funtion？
• 思路：找一个序列$\{v_k\}$，使得$\lim_{k\to\infty}v_k = v_\pi$
• 算法（iterative policy evaluation）
  
  • 过程
    
    1. 选一个随机/heuristic初始值
    2. 持续用Bellman equation更新$v_k$，获得$v_{k+1}$
    3. 直到 maxs∈S|vk+