动态优化——经济学和管理学中的变分法和最优控制_测度论与动态规划（1）...

与变分法或者庞特里亚金最大值原理（Pontryagin's maximum principle）不同，动态规划并非一次性解出状态变量的最优路径和最优控制函数以使得目标泛函最大化，而是将动态优化问题分解为一个个递归问题逐次求解。

本系列文章主要针对离散型随机最优控制问题，最终目标是在测度论和泛函分析的框架下严谨地研究Bellman式的函数方程（Functional Equation），即：站在一般的视角下审视Bellman方程。对于连续型随机最优控制问题暂不做探讨。

首先介绍几个有用的数学工具，并假设以下所有函数均为可微函数。

1.上鞅收敛定理（Doob）：记基于

时刻的信息所作的条件期望为

，若对于

,非负随机序列

若满足

且

,称为非负上鞅。该随机序列几乎必然收敛于一个非负有穷极限

。

鞅（上/下鞅）是利用条件期望定义的一种随机过程，因此天然地与“预测”相联系。粗略地讲，上鞅是一种呈现不断下降趋势的随机序列，上鞅收敛是说：如果一串非负随机序列是上鞅，那么就存在极限，并且这种收敛方式是：几乎必然的（强收敛）。

2.非线性规划：

对于静态优化问题

若约束函数的雅可比矩阵

在可行域内满秩，根据高等微积分中的

隐函数定理，其可行域（映射原象）为光滑流形，从而存在切（超）平面。 根据 Kuhn-Tucker定理，最优性条件为：

与等式优化的最优性条件区别在于：拉格朗日乘子（影子价格）非负、互补松弛条件。

如果目标函数

是拟凹函数，约束函数

是拟凸函数，则此条件是充分的。这个结论的几何解释是直观的，拟凹函数的上等值集是凸集，拟凸函数的下等值集是凸集。最优可行解处必然是两个凸集的共同切点。因为只要两个凸集有交集，则必然不是最优！

3.动态规划：

对于随机控制问题

其中

是独立同分布随机序列。这样的话，状态转移方程（一个非线性随机差分方程）实质上定义了一个马尔可夫过程。为方便计，我们将当期变量，如

简记为

，而用

表示下一期变量

（这个记法并非独创，而是经济学里惯用的记法，比较便于推导。），记

为

值函数( Value function)，则相应的 贝尔曼方程（ Bellman Equation）为：

当然也可以写成：

其中的积分一般应理解为Lebesgue积分。

Bellman方程是一种函数方程，其解的存在性由压缩映射原理（Banach fixed point Theorem）保证。确定性动态规划的解的存在性非常容易证明，无非是证明下述迭代过程：

是一个Banach空间上的压缩映射。但对于随机动态规划，其严格证明涉及到较深的测度论、马尔可夫算子及其共轭算子的性质等知识，暂且按下不表。

Bellman方程等式右边的优化问题是针对控制变量

的,其一阶条件（F.O.C.）为

这个等式中，我们默认了穿过积分号求导的合理性。一般情况下，经济学中的函数都满足控制收敛定理（D.C.）的条件，也就是大多数情况下这么做没什么问题。但我们必须牢记：穿过积分号求导并不是那么自然的，是有条件的。

值得注意的是，若控制变量

有不等式约束，则此F.O.C.需要替换为Kuhn-Tuckert条件！即：对于Bellman方程右端的优化问题：

这个问题是针对控制变量

的。若模型中

受到不等式约束，那么就不能直接使用上面的一阶条件（F.O.C.），而要替换为Kuhn-Tucker条件，这些条件隐式地给出了最优解

，代入Bellman方程消去最大化算子(

)，即：

将由一阶条件隐函数式定义的最优控制函数

记为

,称为策略函数，依据

本维尼斯特-沙因克曼公式( Benvensite-Scheinkman's formula，即值函数对状态变量的求导公式，结果必须在最优控制

处取值，类似静态规划中的包络定理，因此我们也称其为

动态包络定理，此定理的证明需要用到凸分析和集值分析，从略)：

如果我们恰当地选择控制变量，以使得

，这一般总是可以做到的，那么Benvensite-Scheinkman's formula简化为

后移一期得

注意不要将求导的撇与下期变量的撇混淆。

代入一阶条件，得到随机Euler方程：

经济学中，得到了Euler方程，就得到了理性行为人在经济系统中的动态最优决策，就得到了理性经济人的行为法则。

4.一个经济学模型（演示以上定理的综合运用）

是随机序列,

为严格递增的凹函数。

该问题的Bellman方程为

如果我们选择

为动态规划的控制变量，那么会发现Benvensite-Scheinkman's formula的形式将难于处理。如果我们选择

为控制变量，则有

，根据Kuhn-Tucker定理得到随机Euler方程不等式：

推导过程如下：我们选择

为控制变量，由状态转移方程知

若假设

即人们以资本利率对自身效用进行贴现，则

因此Bellman方程改写为

针对Bellman方程右端优化问题，构造拉格朗日函数

由Kuhn-Tucker定理

从而

由Benvensite-Scheinkman公式得

从而

为上鞅。根据上鞅收敛定理，这两个随机过程

，

分别收敛于两个有穷极限。事实上

必然收敛到0，可以采用反证法，如若不然，

收敛到严格正的极限，则

收敛到有限极限，而

的随机性与

的有限极限矛盾。在此情况下系统不存在均衡解，资产和消费发散到无穷。

5.导言

Bellman方程的形式致使我们考虑如下的函数方程：

为紧的

集值映射，且对于每个

，

都是

生成的

域

上的一个概率测度。

To Be Continued