《Reinforcement Learning: An Introduction》 读书笔记 - 目录
为了求解价值函数,或更一步得到最优策略,可以解Bellman方程组,但是当状态集太大时,求解的复杂度太高,所以这一章主要介绍了一些迭代的方式来逼近精确解,在不损失精度的情况下,大幅减少复杂度(对state-value function来说,一般是 O(|S|k) O ( | S | k ) ,即状态数量的多项式)
一些前提说明
- 接下来的几章主要说明的是一种
tabular solution
的解法,也就是基于表格的解法 - 因为state,action的数量有限,所以value可以是一个state的一维表(数组,map),也可以是一个state-action的二维表(数组,map)
- 这一章的动态规划从形态上来看,和经典的动态规划算法上没什么区别
Policy Evaluation
- 问题:已知 π π ,怎么更快地计算value-funtion?
- 思路:找一个序列 { vk} { v k } ,使得 limk→∞vk=vπ lim k → ∞ v k = v π
- 算法(
iterative policy evaluation
)
- 过程
- 选一个随机/heuristic初始值
- 持续用Bellman equation更新 vk v k ,获得 vk+1 v k + 1
- 直到 maxs∈S|vk+
- 过程