图解强化学习 原理 超详解 （二）

上一篇博客中，我们讲解了 强化学习的 概念定义，以及详细全面的讲述了马尔可夫过程，这一篇我们将讲述马尔可夫决策过程所涉及到的策略优化及相关概念。

四.策略优化

马尔可夫决策过程对环境进行了描述，那么智能主体如何完成与环境的智能交互？
这时我们就需要进行 策略学习 了

4.1 策略

策略是提供给决策者在各个时刻选取行动的规则，记作π=(π0，π1，π2，…， πn，πn+1…)，其中πn是时刻 n选取行动的规则。从理论上来说，为了在大范围寻求最优策略πn，最好根据时刻 n以前的历史，甚至是随机地选择最优策略。但为了便于应用，常采用既不依赖于历史、又不依赖于时间的策略，甚至可以采用确定性平稳策略。

4.2 策略指标

衡量策略优劣的常用指标有折扣指标和平均指标。折扣指标是指长期折扣〔把 t时刻的单位收益折合成0时刻的单位收益的βt(β < 1)倍〕期望总报酬;平均指标是指单位时间的平均期望报酬。

采用折扣指标的马尔可夫决策过程称为折扣模型。业已证明:若一个策略是β折扣最优的，则初始时刻的决策规则所构成的平稳策略对同一