优化方法理论合集（10）——贝尔曼动态管理方法

最新推荐文章于 2024-07-02 17:55:53 发布

高能阿博特

最新推荐文章于 2024-07-02 17:55:53 发布

阅读量603

点赞数

分类专栏：优化方法文章标签：算法抽象代数

本文链接：https://blog.csdn.net/weixin_58399148/article/details/124456369

版权

优化方法专栏收录该内容

15 篇文章 15 订阅

订阅专栏

1. 问题描述

给出如下条件

数学模型
$\dot x_i = f_i \left( t, \vec x, \vec u \right)$ 其中 $\dim \left( \vec x \right) = n, \dim \left( \vec u \right) = m$ ，且
$\vec x = \left[x_1, x_2, \cdots, x_n \right], \vec u = \left[ u_1, u_2, \cdots, u_m \right]$
性能指标
$\int _{t_0} ^{t_k} F \left( \vec x, \vec u \right) dt \rightarrow \min$ 其中 $t_0$ 已知， $t_k$ 未知。须注意：这里 $J$ 中只含有 $\vec x, \vec u$ ，不含有时间 $t$ 。
边界条件
$\begin{cases} x_1 (t_0) = x_{10} \\ x_2 (t_0) = x_{20} \\ \vdots \\ x_n (t_0) = x_{n0} \end{cases} \\ End = \begin{cases} x_1 (t_k) = x_{1k} \\ x_2 (t_k) = x_{2k} \\ \vdots \\ x_n (t_k) = x_{nk} \end{cases}$
控制量 $u$ 可以为任意状态，可以有限制，可以没有限制。
但需要注意： $\vec u = \vec u \left( \vec x \right)$ 是状态量 $\vec x$ 的函数，不再是时间 $t$ 的函数。

2. 贝尔曼最优原理

贝尔曼最优原理
如上图所示，整条轨迹分成了左右两端， $\in \left[ t_0, t_0 + \Delta t \right]$ 和 $\in \left[ t_0 + \Delta t, t_k \right]$ 。无论在第一段中使用何种控制、沿着何种轨迹运动，在第二段中，在最优控制作用下，轨迹应当沿着最优轨迹线运动，并到达期望状态。
若 $\Delta t \rightarrow 0$ ，那么在整个时间区间上，轨迹就变成了最优轨迹。

从性能指标表达式上可以看出， $J$ 是和 $x, u$ 均相关的量。如果先只找出关于 $x$ 的最优指标，而假定 $u$ 不变，那么性能指标表达式可以写成
$\left( \vec x \right) = \min_u \int _{t_0} ^{t_k} F \left( \vec x, \vec u \right) dt \tag{1}$ 即： $S$ 是 $\vec x$ 的函数。

根据上图，可以把积分(1)写成2段：
$\int _{t_0} ^{t_k} F \left( \vec x, \vec u \right) dt = \int _{t_0} ^{t_0 + \Delta t} F \left( \vec x, \vec u \right) dt + \int _{t_0 + \Delta t} ^{t_k} F \left( \vec x, \vec u^{\circ} \right) dt$ 须注意：根据贝尔曼最优原理的表述，第二段中的 $u$ 应当是最优控制 $u^{\circ}$ ，而第一段中的 $u$ 不是最优控制。

既然第二段中的 $u$ 是最优控制 $u^{\circ}$ ，那么第二段可以写成
$\int _{t_0 + \Delta t} ^{t_k} F \left( \vec x, \vec u^{\circ} \right) dt = S \left( \vec x \left( t_0 + \Delta t \right) \right)$ 对于 $S$ 有如下性质：

$S$ 是连续平滑的微分方程；
$S$ 的表达式未知。
梯度性质：
$\frac{\partial S}{\partial \vec x} = \left[ \frac{\partial S}{\partial x_1}, \frac{\partial S}{\partial x_2}, \cdots, \frac{\partial S}{\partial x_n} \right] \tag{2}$

3. 贝尔曼方程

如果 $\frac{\partial S}{\partial x_i}$ 存在，那么具有贝尔曼方程
$\min_u \left[ F \left( \vec x, \vec u \right) + \frac{\partial S}{\partial \vec x} \cdot \vec f \left( \vec x, \vec u \right) \right] = 0 \tag{3}$ 即
$\min_u \left[ F \left( \vec x, \vec u \right) + \sum _{i=1} ^n \frac{\partial S}{\partial x_i} \cdot f_i \left( \vec x, \vec u \right) \right] = 0 \tag{4}$ 式(4)是性能指标极值存在的必要条件。

须注意，对于 $S$ 有
$\left( \vec x (t_k ) \right) = 0 \tag{5}$

4. 求解步骤

利用贝尔曼方程来求出最优控制 $u^{\circ}$ ：
$\frac{\partial \left[ F \left( \vec x, \vec u \right) + \sum _{i=1} ^n \frac{\partial S}{\partial x_i} \cdot f_i \left( \vec x, \vec u \right) \right]}{\partial \vec u} = 0 \tag{6}$ 仍然需要强调，这里得出的是 $\vec u = \vec u ^{\circ} (\vec x )$ ，是 $x$ 的函数，不是 $t$ 的函数。

再将得出的 $u^{\circ}(\vec x)$ 代入(4)式即可得出最优轨迹 $x^{\circ}$ 。

5. 例题

给出如下例题
$\begin{cases} \dot x_1 = x_2 \\ \dot x_2 = u \end{cases} \\ \vec x (t_k) = [0, 0] \\ J = \int _{t_0} ^{t_k} \left( x_1^2 + x_2^2 + u^2 \right) dt \rightarrow \min \\ t_0 = 0$
解： $\square \qquad$ 写出贝尔曼方程
$\begin{aligned} \min_u \left[ F \left( \vec x, \vec u \right) + \sum _{i=1} ^n \frac{\partial S}{\partial x_i} \cdot f_i \left( \vec x, \vec u \right) \right] &= F + \frac{\partial S}{\partial x_1} f_1 + \frac{\partial S}{\partial x_2} f_2 \\ &= \left( x_1^2 + x_2^2 + u^2 \right) + \frac{\partial S}{\partial x_1} x_2 + \frac{\partial S}{\partial x_2} u \\ &= 0 \end{aligned}$ 代入(6)式
$\frac{\partial \left[ \left( x_1^2 + x_2^2 + u^2 \right) + \frac{\partial S}{\partial x_1} x_2 + \frac{\partial S}{\partial x_2} u \right]}{\partial u} = 0$ 即
$\frac{\partial S}{\partial x_2} = 0 \\ \Longrightarrow u ^{\circ} = - \frac{1}{2} \frac{\partial S}{\partial x_2}$ 可见 $u^{\circ}$ 与 $S$ 对 $x_2$ 的导数有关。

将 $u^{\circ}$ 代入到贝尔曼方程中
$\begin{aligned} \left( x_1^2 + x_2^2 + u^2 \right) + \frac{\partial S}{\partial x_1} x_2 + \frac{\partial S}{\partial x_2} u &= \left[ x_1^2 + x_2^2 + \left( - \frac{1}{2} \frac{\partial S}{\partial x_2} \right)^2 \right] + \frac{\partial S}{\partial x_1} x_2 + \frac{\partial S}{\partial x_2} \left( - \frac{1}{2} \frac{\partial S}{\partial x_2} \right) = 0 \end{aligned}$ 化简得
$x_1^2 + x_2^2 - \frac{1}{4} \left( \frac{\partial S}{\partial x_2} \right) ^2 + \frac{\partial S}{\partial x_1 }x_2 = 0 \tag{7}$ 具有平方形式。令 $S$ 亦具有平方形式：
$\left( \vec x \right) = C_1 x_1^2 + C_2 x_1 x_2 + C_3 x_2^2$ 则
$\begin{cases} \frac{\partial S}{\partial x_1} = 2C_1 x_1 + C_2 x_2 \\ \frac{\partial S}{\partial x_2} = 2C_3 x_2 + C_2 x_1 \end{cases}$ 代入(7)式解得
$\begin{cases} C_2 = 2, -2 \\ C_3 = \sqrt 3, - \sqrt 3 \\ C_1 = \sqrt 3, - \sqrt 3 \end{cases}$ 即
$\left( \vec x \right) = \sqrt 3 x_1^2 + 2 x_1 x_2 + \sqrt 3 x_2^2 \quad 或 \quad- \sqrt 3 x_1^2 + 2 x_1 x_2 - \sqrt 3 x_2^2$ 则
$u^{\circ} = - \frac{1}{2} \frac{\partial S}{\partial x_2} = - \sqrt 3 x_2 - x_1 \quad 或 \quad \sqrt 3 x_2 - x_1$