本文深入探讨了强化学习中的动态规划方法，包括预测和控制两个方面。在预测阶段，介绍了策略评估（Iterative Policy Evaluation）的概念，通过迭代贝尔曼期望方程求解策略的状态价值函数vπ。在控制阶段，讲解了策略迭代（Policy Iteration）和价值迭代（Value Iteration）算法，前者结合策略评估和改进以找到最优策略，后者则通过优化迭代过程直接获取最优价值函数v∗及对应策略π∗。最后，对比了两种迭代方法的异同，表明它们都能得到相同的最优策略。
文章目录
Reference
[1] https://github.com/datawhalechina/easy-rl
[2] David_Silver: https://www.youtube.com/watch?v=Nd1-UUMVfz4&t=1113s
1. 预测（Prediction）
定义
输入策略和MDP五元组，输出策略的状态价值函数 v π v_\pi vπ。
1.1 策略评估（Iterative Policy Evaluation）
（1）定义
一种预测方法。通过重复迭代贝尔曼期望方程，直至方程收敛，来获得状态价值函数 v π v_\pi vπ。
（2）举例
2. 控制（Control）
（1）定义
输入MDP五元组，输出最优策略 π ∗ \pi_* π∗和最优价值函数 v ∗ v_* v∗。
2.1 策略迭代（Policy Iteration）
（1）定义
策略迭代由策略评估（P
最低0.47元/天 解锁文章
扫一扫
11万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
