强化学习理论——动态规划理论

最新推荐文章于 2024-07-16 16:03:48 发布

隔壁的NLP小哥

最新推荐文章于 2024-07-16 16:03:48 发布

阅读量407

点赞数

分类专栏：强化学习

本文链接：https://blog.csdn.net/hei653779919/article/details/105896334

版权

强化学习专栏收录该内容

2 篇文章 1 订阅

订阅专栏

强化学习理论——动态规划理论

之前的文章：

强化学习理论——MDP过程

1、引入

在上一篇文章中，我们描述了基于MDP框架的下的强化学习过程以及策略评估过程的推导，下面我们主要来介绍基于动态规划过程的强化学习过程。

1.1、动态规划理论的引入

在我们之前介绍的MDP过程中，我们使用MDP=(S,A,P,r,γ)来表示一个马尔科夫决策过程，进一步根据转移概率P的是否已知，我们可以将MDP过程分成基于动态规划的学习方法和基于无模型的强化学习方法。整个分类可以用下图进行表示：

在这里插入图片描述

回顾一下在上一篇文章中提到的关于MDP中的最优的状态—值函数和状态—行为值函数，其贝尔曼最优化方程为：

$V^*(s)=max_{a}R_s^a+γ∑_{s'∈S}P_{ss}^aV^*(s')$
$q^*(s,a)=R_s^a+γ∑_{s'∈S}P_{ss}^amax_{a}q^*(s',a')$

如果对于动态规划有基本的了解，则很容易从这两个最优化的方程中看出，这两个方程明显满足动态规划的基本条件。首先，在最优化方程中， $R_s^a,γ,P_{ss}^a$ 都是已知的，我们动态规划计算的无非就是 $V^*(s)$ 和 $V^*(s')$ ，显然，这是满足递推公式， $q^*(s,a)$ 同理。

1.2 高斯—赛德尔算法

在介绍高斯—赛德尔算法之前，我们先来介绍迭代求解的过程。

首先，我们假设一般的线性方程组的一般形式：
$A X = b$
我们的目标是给定一个初始的 $X_0$ ，将其放入到迭代公式中，计算之后得到 $X_1$ ，在将 $X_1$ 带入到迭代公式中，循环进行直到X收敛。

进一步，我们该解法的核心在于如何设计迭代公式，其中最基本的迭代方法为雅克比迭代法，在雅克比迭代方式中，假设系数矩阵A的对角元素 $a_{ii}≠0$ 。从线性方程中分离出 $X_i$ ，依次构造出迭代方程为：
$\begin{cases} X_1=\frac{1}{a_{11}}(-a_{12}X_2-a_{13}X_3-,...-a_{1n}X_n+b_1)\\ X_2=\frac{1}{a_{22}}(-a_{21}X_1-a_{23}X_3-,...-a_{1n}X_n+b_2)\\ \frac{}{}....\\ X_n=\frac{1}{a_{nn}}(-a_{n1}X_1-a_{n2}X_2-,...-a_{n,n-1}X_{n-1}+b_n) \end{cases}$
将上述的过程整理成矩阵的形式有：
$X=-D^{-1}(L+U)X+D^{-1}b$
其中
$\left[ \begin{matrix} a_{11} & \\ & a_{22} & \\ &&. \\ & & & . &\\ &&&&.\\ &&&&&a_{nn} \end{matrix} \right]$
$\left[ \begin{matrix} 0 & \\ a_{21}& 0& \\ a_{31}&a_{32}&0 \\ .&. & . & . &\\ .&.&.&&.\\ a_{n1}&a_{n2}&a_{n3}&.&.&0 \end{matrix} \right]$
$\left[ \begin{matrix} 0&a_{12}&a_{13}&...&&a_{1n} \\ & 0&a_{23}&...&&a_{2n} \\ &. . . &...&...&&...\\ &&&&&0 \end{matrix} \right]$
记 $B=-D^{-1}(L+U),d=D^{-1}b$ ，则迭代公式为：
$X = B X + d$
在第k次迭代的时候，其基本的计算过程为：
$\begin{cases} X_1^{k+1}=\frac{1}{a_{11}}(-a_{12}X_2^k-a_{13}X_3^k-,...-a_{1n}X_n^k+b_1)\\ X_2^{k+1}=\frac{1}{a_{22}}(-a_{21}X_1^k-a_{23}X_3^k-,...-a_{1n}X_n^k+b_2)\\ \frac{}{}....\\ X_n^{k+1}=\frac{1}{a_{nn}}(-a_{n1}X_1^k-a_{n2}X_2^k-,...-a_{n,n-1}X_{n-1}^k+b_n) \end{cases}$

进一步，在计算k+1时刻的 $X_i^{k+1}$ 的时候能够利用 $X_{i-1}^{k+1},X_{i-2}^{k+1},X_{i-3}^{k+1},..$ 等信息，提出高斯—赛德尔算法，其基本形式如下：

$\begin{cases} X_1^{k+1}=\frac{1}{a_{11}}(-a_{12}X_2^k-a_{13}X_3^k-,...-a_{1n}X_n^k+b_1)\\ X_2^{k+1}=\frac{1}{a_{22}}(-a_{21}X_1^{k+1}-a_{23}X_3^k-,...-a_{1n}X_n^k+b_2)\\ \frac{}{}....\\ X_n^{k+1}=\frac{1}{a_{nn}}(-a_{n1}X_1^{k+1}-a_{n2}X_2^{k+1}-,...-a_{n,n-1}X_{n-1}^k+b_n) \end{cases}$
用矩阵可以表示为：
$D+L)X^{k+1}=-UX^k+b$
写成迭代方式的形式有：
$X^{k+1}=GX^k+d$
$G=-(D+L)^{-1}U,d=(D+L)^{-1}b$

2、基于高斯—赛德尔的动态规划求解

在动态规划的策略更新下，对于MDP的求解包括如下两个过程。

策略评估
策略迭代

下面，我们来逐步的分析这两个过程。

2.1 策略评估

在进行这个过程之前，我们需要首先明确一下策略评估的概念，对象，以及目标。首先，策略评估的概念是指在给定某一个策略π之下，计算该策略所产生的累积回报值。策略评估的对象是我们给定的策略，其目标是在给定策略π之下，计算策略π所产生的值函数的结果。

在明确了策略评估的作用之后，我们接下来就是求解的过程了，首先，我们回顾状态—值函数：

$V_{k+1}(s)=∑_{a∈A}(R_s^a+γ∑_{s'∈S}P_{ss}^aV_k(s'))$

在回顾了MDP中的最优化方程，理解了高斯—赛德尔算法之后，我们下面使用高斯—赛德尔算法对最优化方程进行求解过程。

首先，我们给出算法描述：

输入：需要评估的策略π，状态转移概率 $P_{ss}^a$ ，回报函数 $R_s^a$ ，折扣因子γ
初始化状态—值函数：V(s)=0
开始迭代
对于每一个状态s，采用高斯—赛德尔算法进行迭代
$V_{k+1}(s)=∑_{a∈A}π(a|s)(R_s^a+γ∑_{s'∈S}P_{ss}^aV_k(s'))$
当 $V_{k+1}=V_k$ 的时候，结束迭代。
输出 $V (s)$

为了便于理解，这里我们举一个关于策略评估的例子，下面给出一个网格世界和可以采用的动作：

在这里插入图片描述
根据上图，我们可以知道状态空间S包括{ $S_1,S_2,...,S_14$ }，动作空间包括A={东,南,西,北}，假设立即回报函数r=-1，折扣因子γ=1，假设我们接下来要评估的策略π的动作分布如下所示：
$π (东 ∣ \cdot) = 0.25 ， π (西 ∣ \cdot) = 0.25 ， π (南 ∣ \cdot) = 0.25 ， π (北 ∣ \cdot) = 0.25$

接下来，我们来计算k=1到k=2的计算过程，首先我们能够得到初始的回报，和第一轮迭代的状态值函数。
在这里插入图片描述

下面，我们来计算第一个状态的回报情况：
$V_2(1)=0.25*(-1+1*(-1.0))+0.25 *(-1+1*(-1))+0.25*(-1+1*(-1))+0.25 *(-1+1*(0))=\\ 0.25 *(-7)=-1.75$

我们采用值函数对策略进行评估，而计算值函数的目的也是为了寻找最优策略。所以，下一步，我们要做的就是根据计算出来的值函数来寻找最优策略，另外，这里需要注意的是，我们求的是最优策略，那么对于不是最优策略的值函数，我不需要进行冗余的计算，换句话来说，为了求最大的累积回报对应的策略π，我们这里采用贪心策略来减少时空复杂度，也就是 $π_{k+1}(s)∈argmax_{a}q_{π}(s,a)$

2.2 策略迭代

首先，我们来回顾一下状态—动作值函数的计算形式：
$q_{π}(s,a)=R_s^a+γ∑_{s'∈S}P_{ss}^aV_π(s')$
在确定了状态值函数的计算方法和贪心策略对于策略的选择。下一步，就是对于策略的迭代过程，这里我们首先给出一个更新的例子：
在这里插入图片描述
假设当前进行第K=10轮的迭代过程，并且已经计算出来了各个状态的状态值函数。下一步，我们根据当前的状态值函数的结果来选择最大的状态值函数来更新策略 $π$ 。以状态1为例：