一、Motivating examples
二、最优策略/optimal policy
三、贝尔曼最优公式【Bellman Optimality Equation】
1、贝尔曼公式/Bellman Equation
2、贝尔曼最优公式/Bellman Optimality Equation
对于贝尔曼公式来说,求解state value时是依赖于一个给定的π;
对于贝尔曼最优公式来说,π是不定的,是需要求解的参数;
3、压缩映射定理【Contraction mapping theorem】
4、求解贝尔曼最优公式
4.1 最大化贝尔曼最优公式右侧
4.2 解贝尔曼最优公式
4.3 应用“压缩映射定理”解贝尔曼最优公式
4.4 案例:求解贝尔曼最优公式
四、最优策略/Optimal Policy
贝尔曼最优公式是一个特殊的贝尔曼公式。
贝尔曼最优公式对应的策略是最优策略。
五、最优策略的决定因素
当γ比较大时,会比较远视,得到的return中远期的reward比重会相对大一些;
当γ比较小时,会比较短视,得到的return中近期的reward权重会相对大一些;
在设计reward的时候,即使将默认r设计为0,也不会绕远路,因为除了r来约束不要绕远路,γ的存在也会限制不会绕远路,因为越绕远路,得到的reward越晚,最后计算得到的return越小。