【应用数学】动态最优化（3）：离散动态规划与二次规划

200727本篇是应用数学之动态最优化理论的笔记，欢迎各位交流！今天是第三部分：离散动态规划与二次规划

本篇关于动态最优化的综合学习笔记。主要包括了离散与连续时间动态规划、连续时间最优控制与变分法等主题。本章仅给出在解决实际应用问题时的基本计算方法，对于数学上更进一步深入可以参考Stokey和Lucas（1989）。

3. 动态规划与二次规划

3.1 动态规划

3.1.1 确定性离散动态规划

对于无限期问题
$$\begin{gathered} \max \sum _{t=0}^{\infty }{\beta }^{t}r\left(x_t,u_t\right) \\ s.t.u_t=h\left(x_t\right) \\ {x}_{t+1}=g\left(x_t,u_t\right) \end{gathered}$$

定义值函数为

v ( x 0 ) = max ⁡ { u t } t = 0 ∞ ∑ t = 0 ∞ β t r ( x t , u t ) v\left(x_{0}\right)=\max _{\left\{u_{t}\right\}_{t=0}^{\infty}} \sum_{t=0}^{\infty} \beta^{t} r\left(x_{t}, u_{t}\right) v(x0​)={ ut​}t=0∞​max​t=0∑∞​βtr(xt​,ut​)

则贝尔曼方程为
v ( x ) = max ⁡ u { r ( x , u ) + β v [ g ( x , u ) ] } v(x)=\max _{u}\{r(x, u)+\beta v[g(x, u)]\} v(x)=umax​{ r(x,u)+βv[g(x,u)]}

此时对控制变量$u$求导得到一阶条件，对状态变量$x$求导得到包络定理，亦称为Benveniste-Scheinkman方程：
$$\begin{gathered} r_u(x,u)+\beta v^{\prime }[g(x,u)]g_u(x,u)=0 \\ {v}^{\prime }(x)=r_x(x,u)+\beta v^{\prime }[g(x,u)]g_x(x,u)=0 \end{gathered}$$

综合以上两条件，得到欧拉方程，其中第二个方程为横截条件。
r u ( x t , x t + 1 ) + β r x