基本概念篇（三），强化学习基本概念小结

现在，总结一下我们前面介绍的相关内容：

首先，我们介绍了强化学习的八个基本要素，具体参见：基本概念篇（一），强化学习基本要素
其次，我们对强化学习的过程进行了描述，具体参见：基本概念篇（二），强化学习过程

具体来讲，强化学习可以描述成一个MDP（马尔科夫决策过程），即 M = { S , A , P , r , γ , τ } M=\left\{S,A,P,r,\gamma,\tau\right\} M={S,A,P,r,γ,τ}，这其中：
$S$ 是状态集；
$A$ 是动作集；
$P$ 是状态转移矩阵；
$r:S\times A\to \left[-R_{max},R_{max}\right]$ 为实时环境奖励；
$\gamma \in \left[0,1\right]$ 为折扣因子；
$\tau =\left(s_0,a_1,s_1,a_2,s_2,\cdots ,a_T,s_T\right)$ 为一个轨迹序列，描述的是一次完整的交互过程（即一个Episode，这个词后面会经常用，相应的$\left(s_0,a_1,s_1\right)$就可以看作一个Step）。
那一次强化学习的收益，我们就可以写成$R\left(\tau \right)$，由于$\tau$本身是一个随机变量，则$R\left(\tau \right)$也是一个随机值，优化过程无法对随机值取最大，但我们可以对其期望取最大，即通过不断优化$\underset{\pi }{\max }\int R\left(\tau \right)P_{\pi }\left(\tau \right)d\tau$，最终找到最优决策序列。

根据状态转移概率$p$（或状态转移矩阵$P$）是否已知，强化学习可以分为两个大类，即Model-Based（基于模型，$p$已知）和Model-Free（无模型，$p$未知）：

Model-Based（基于模型）

这一类，由于确切已知转移概率，则可以将其转换为规划问题来进行求解，例如上一节我们给大家看的解线性方程的例子。同时，由于MDP其实就是一个多阶段决策（序贯决策）问题。因此，动态规划方法是解决这一类问题的较常用方法。其实，我们现在返回去再看一下上一节讲的贝尔曼方程，例如：$v_{\pi }\left(s\right)={\sum }_{a\in A}\pi \left(\mathrm{a}|\mathrm{s}\right)\left[{\mathrm{r}}_{\mathrm{s}}^{\mathrm{a}}+\gamma {\sum }_{{\mathrm{s}}^{\prime }\in \mathrm{S}}{\mathrm{P}}_{{\mathrm{s}\mathrm{s}}^{\prime }}^{\mathrm{a}}{\mathrm{v}}_{\pi }\left({\mathrm{s}}^{\prime }\right)\right]$）或者${\mathrm{q}}_{\pi }\left(\mathrm{s},\mathrm{a}\right)=r_s^a+\gamma {\sum }_{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{\sum }_{{\mathrm{a}}^{\prime }\in \mathrm{A}}\pi \left({\mathrm{a}}^{\prime }|{\mathrm{s}}^{\prime }\right){\mathrm{q}}_{\pi }\left({\mathrm{s}}^{\prime },{\mathrm{a}}^{\prime }\right)$，其形式与标准的动态规划方程就非常类似。

Model-Free（无模型）

对于这一类，由于无法利用状态转移概率$p$求解，那么就要引入一个称为经验平均的方法。我们先看下面两个公式：
$v_{\pi }\left(s\right)=E_{\pi }\left[r_{t+1}+\gamma \cdot r_{t+2}+{\gamma }^2\cdot r_{t+3}|s_t=s\right]$
$q_{\pi }\left(s,a\right)=E_{\pi }\left[r_{t+1}+\gamma \cdot r_{t+2}+{\gamma }^2\cdot r_{t+3}|s_t=s,a_t=a\right]$
前面我们讲了，要解决强化学习问题，最终落在求这两个函数的最大值上。与上面的贝尔曼方程不同，这两个值在原始定义中，是不涉及状态转移概率$p$的。因此，经验平均方法的思路简单来讲，就是利用多次抽样得到的平均值去代替随机量的期望值。根据这个出发点，这一方法本身就需要进行大量的采样，同时尽可能全的覆盖大部分取值空间，否则其平均值与随机变量的期望值之间就会产生较大差距。

到这里，基本的概念就讲完了。下来，我们会根据Model-Based和Model-Free两大部分，分别介绍强化学习相关方法。