文章目录
Reference
[1] David Silver: https://youtu.be/UoPei5o4fps
在强化学习(四)中,我们学习了在Model Free环境下分别使用MC, TD进行策略评估的策略控制方法。并按照学习方式划分为On Policy和Off Policy两种类型,比如Sarsa和Q-Learning两类表格型方法。
表格型方法在大规模强化学习环境中表现不好。因为需要保存所有的状态动作对的价值所以会耗费很大的时间与空间。
因此我们可以采用函数近似代替表格型方法,同时采用MC或TD方法更新近似参数 w w w。近似函数需要满足可导条件,我们常使用线性函数或者神经网络进行函数近似。
下面我们将讨论如何使用MC和TD方法,对价值近似函数进行优化,以及如何使用近似价值函数进行策略迭代。
1. Incremental Methods
增量方法采用梯度下降算法优化价值函数近似。
1.1 梯度下降(Gradient Descent)
(1)定义
(2)目标函数
假设已知真实的价值函数,我们希望最小化真实的价值函数 v π ( s ) v_\pi(s)