强化学习常用算法分类
在模型已知的情况下,采用动态规划的方法来寻找最优的策略。常用的动态规划方法有四种
1) 线性规划方法。根据Bellman方程,将值函数的求取转换为一个线性规划问题求解
2)策略迭代方法。根据Bellman方程,通过策略迭代和策略评估交替进行,求取最优策略
3)值函数迭代方法。通过一种逐次逼近方式,将有限时段的动态规划算法推广到无限时段上。
4)广义策略迭代方法。结合策略迭代和值迭代的一种强化学习方法。
模型未知的强化学习方法包括:蒙特卡洛学习,TD学习,Q学习,SARSA学习,Dyna框架,直接策略学习和Actor-Critic方法
近似强化学习的基本方法,包括带值函数TD学习、近似策略迭代和最小二乘策略迭代。