《Introduction to Stochastic Dynamic Programming》第一章自学笔记

最新推荐文章于 2022-03-14 07:38:09 发布

喵呜嘻嘻嘻

最新推荐文章于 2022-03-14 07:38:09 发布

阅读量1.3k

点赞数 5

分类专栏：动态规划

本文链接：https://blog.csdn.net/z3w97/article/details/114497860

版权

动态规划专栏收录该内容

4 篇文章 3 订阅

订阅专栏

第一章有限阶段模型

1. 介绍

观察到状态（state）后，选择一个行动（action）：

仅根据当时的状态和选择的行动，获得一个期望奖励；
按确定的概率分布转移到下一状态。

我们关心的问题是选择一种策略，使在给定的长度为 $n$ 的有限时间跨度内所获得的奖励总和的期望值最大化。

我们提出一种称为动态规划（dynamic programming）的技术，使这些问题可以关于 $n$ 递归地解决。

当状态为 $i$ ，选择行动 $a\in A$ 时，假设获得的奖励为 $R (i, a)$ ，下一状态以概率 $P_{ij}(a)$ 为 $j$ 。设 $V_n(i)$ 表示从状态 $i$ 开始的 $n$ 阶段问题的最大期望收益。

当 $n = 1$ 时，显然有
$V_1(i)=\max_{a\in A}R(i,a)$
最优方程（optimality equation）
$V_{n}(i)=\max _{a}\left[R(i, a)+\sum_{j} P_{i j}(a) V_{n-1}(j)\right]$

2. 赌博模型

问题

在每一局中，赌徒可以下注任何不大于他目前财富的非负的金额，并将分别以概率 $p$ 和 $q = 1 - p$ 赢或输这个金额。赌徒允许下 $n$ 个赌注，他的目标是最大化他最终财富对数的期望。

建模

设 $V_n(x)$ 表示赌徒当前财富为 $x$ 且允许再赌 $n$ 次时的最大期望收益。最优方程为
$V_{n}(x)=\max _{0 \leq \alpha \leq 1}\left[p V_{n-1}(x+\alpha x)+q V_{n-1}(x-\alpha x)\right]$
边界条件为
$V_0(x)=\log x$

结果

当 $p\le \frac12$ 时， $V_n(x)=\log x$ ，最优策略为一直不下注。（将 $\log$ 换成任意凹函数结论不变）

当 $p>\frac12$ 时， $V_n(x)=nC+\log x$ ，其中 $C=\log2+p\log p+q\log q$ ，最优行动为每次下注占当前财富的比例为 $p - q$ 。

3. 期权模型

问题

令 $S_k$ 表示股票在第 $k(k\ge 1)$ 天的价格，并假设
$S_{k+1}=S_{k}+X_{k+1}=S_{0}+\sum_{i=1}^{k+1} X_{i},$
其中 $X_1,X_2,\dots$ 独立同分布于 $F$ （具有有限均值），也与 $S_0$ 独立。这被称为股票价格的随机游走（random-walk）模型。

假设你现在拥有以固定价格 $c$ 购买一股股票的期权，你有 $N$ 天时间行权。你不一定需要行权，但如果你在股票价格为 $s$ 的时候行权，那么你的利润就是 $s - c$ 。

建模

假设 $V_n(s)$ 表示股票价格为 $s$ 且期权还有 $n$ 天时间行权时的最大期望利润。最优方程为
$V_{n}(s)=\max \left[s-c, \int V_{n-1}(s+x) d F(x)\right], \quad n \geq 1$
边界条件为
$V_0(s)=\max(s-c,0)$

结果

引理： $V_n(s)-s$ 关于 $s$ 递减。
注：显然 $V_n(s)$ 关于 $s$ 递增且连续。
定理：最优策略有如下形式：存在递增的 $s_1\le s_2\le\cdots\le s_n\le\cdots$ 使得如果剩余行权时间为 $n$ 天且当前价格为 $s$ ，则当且仅当 $s\ge s_n$ 时应该行权。
注：可以证明，当 $\mu_F\ge 0$ 时，在到期前执行期权永远不是最优的。因此上述定理只有在均值为负时才有意义。

4. 模函数和单调策略

$max_y g(x,y)=g(x,y(x))$
其中， $y (x)$ 是使 $g (x, y)$ 取得最大值的最大的 $y$ 。

定义

函数 $g$ 被称为超模（supermodular），如果它满足
$g\left(x_{1}, y_{1}\right)+g\left(x_{2}, y_{2}\right) \geq g\left(x_{1}, y_{2}\right)+g\left(x_{2}, y_{1}\right) \quad \text { for all } x_{1}>x_{2}, y_{1}>y_{2}$
若将不等式反过来，则称之为次模（submodular）。

性质

若 $g$ 是超模的，则 $y (x)$ 关于 $x$ 是递增的。

判定

若 $\partial^{2} g(x, y) / \partial x \partial y$ 存在，则 $g (x, y)$ 是超模当且仅当
$\frac{\partial^{2} g(x, y)}{\partial x \partial y} \geq 0$
类似地，它是次模当且仅当
$\frac{\partial^{2} g(x, y)}{\partial x \partial y} \leq 0$

例子

例1

问题

再次考虑赌博模型。只是这一次，输赢的概率不是固定的，而是在每次赌博之前，从某个分布 $F$ 中随机选择的。在每次赌博中，赌徒必须在宣布赢的概率后决定他下注的财富的多少。他被允许玩 $n$ 次，他的目标是最大化他最终财富的给定效用函数 $u$ 的期望值，假设 $u$ 是递增的。

建模

状态：财富 $x$ 和赢的概率 $p$

令 $V_n(x,p)$ 表示状态 $(x, p)$ 在只允许玩 $n$ 次时的最大期望最终效用。最优方程为
$\begin{aligned} V_{n}(x, p)=\max _{0 \leq y \leq x} [& p \int_{0}^{1} V_{n-1}(x+y, \alpha) d F(\alpha) \\ &+(1-p) \int_{0}^{1} V_{n-1}(x-y, \alpha) d F(\alpha)] \end{aligned}$
边界条件为
$V_0(x,p)=u(x)$

结果

设 $y_n(x, p)$ 表示使最优方程最大化的最大 $y$ 。假设我们想证明一个相当直观的结果，即对于固定的 $n$ 和 $x$ ，最优赌注关于 $p$ 是递增的。

此即要证明方括号中的函数具有超模性！

例2

问题

假设我们有 $N$ 个阶段来建设 $I$ 个成功的项目。在每个阶段，我们都分配一定数量的资金用于项目的建设。如果 $y$ 是分配的数量，那么该项目成功的概率为 $P (y)$ ，其中 $P$ 是满足 $P (0) = 0$ 的连续非递减函数。项目建设后，我们就会知道它是否成功。如果在 $N$ 个阶段的最后，我们少了 $j$ 个项目，那么最终惩罚成本 $C (j)$ 就会发生，其中 $C (j)$ 关于 $j$ 递增。每个阶段的问题是决定分配多少钱来最小化所发生的总预期成本(建设成本加惩罚成本)。

建模

状态：还需要的成功项目的数量

如果 $V_n(i)$ 表示状态为 $i$ 且仍有 $n$ 个阶段时的最小期望剩余成本，那么最优方程为
$V_{n}(i)=\min _{y \geq 0}\left\{y+P(y) V_{n-1}(i-1)+[1-P(y)] V_{n-1}(i)\right\}$
边界条件为
$V_0(i)=C(i)$

结果

如果我们让 $y_n(i)$ 表示使最优方程达到最小的 $y$ 值，那么一个很直观的结论是 $y_n(i)$ 关于 $i$ 递增，关于 $n$ 递减。现在我们尝试确定 $C$ 的条件，使该结论成立。

首先我们可以利用模函数的性质给出上述结论的一个充分条件（关于最优方程），然后证明我们只需要 $C (i)$ 关于 $i$ 是凸的。

5. 接受最好的offer

问题

假设我们依次得到 $n$ 个offer。在看到一个offer之后，我们必须决定是接受它(并终止这个过程)还是拒绝它。一旦被拒绝，offer就失去了。假设我们在任何时候拥有的唯一信息是当前offer与之前offer的相对排名。目标是在假设所有 $n!$ 个offer的顺序都是等可能的情况下，最大化接受最好的offer的概率。

建模

状态 $i$ ：如果第 $i$ 个报价刚刚出现，并且是已经出现的 $i$ 个报价中最好的

令 $V (i)$ 表示我们在状态 $i$ 接受最好的offer的概率， $P (i)$ 表示第 $i$ 个offer被接受时即为最好offer的概率， $H (i)$ 表示如果拒绝了第 $i$ 个offer我们能接受最好的offer的概率，则
$V(i)=\max[P(i),H(i)]=\max[\frac{i}{n},H(i)]$

结果

因为 $i / n$ 关于 $i$ 递增， $H (i)$ 关于 $i$ 递减，所以存在 $j$ 使得
$\begin{array}{ll} \frac{i}{n} \leq H(i) & (i \leq j) \\ \frac{i}{n}>H(i) & (i>j) \end{array}$
因此，最优策略具有如下形式：对于某个 $j$ ， $j\le n-1$ ，拒绝前 $j$ 个offer，然后接受第一个出现的候选offer。如果一个offer的价值高于之前的任何一个offer，那么它就被称为候选offer。

用 $P_j(\text{best})$ 表示该策略下接受最好的offer的概率，推出当 $n$ 很大、 $j = n / e$ 时该概率最大，从而得到了我们的最优策略。能接受最好的offer的概率大约是 $1 / e$ 。

6.顺序分配模型

问题

假设我们有 $D$ 个单位可供投资。在 $N$ 个时间段内，一个独立于过去的投资机会将以概率 $p$ 出现。如果机会出现，投资者必须决定他的剩余财富投资多少。如果他投资 $y$ ，那么在最后会得到 $R (y)$ 的回报。假设投资出去的金额和回报对于未来的投资都是不可用的，问题是决定在每个机会上投资多少来最大化投资回报的预期总和。

建模

假设 $R (y)$ 是非递减凹函数，且 $R (0) = 0$ 。用 $V_n(A)$ 表示在还有 $n$ 个时间段、有 $A$ 美元可投资、一个机会在手上时可获得的最大预期额外利润。最优方程为
$\begin{array}{l} V_{n}(A)=\max _{0 \leq y \leq A}\left[R(y)+\bar{V}_{n-1}(A-y)\right], \quad n>0 \\ V_{0}(A)=0 \end{array}$
其中，
$\bar{V}_{m}(A)=\sum_{i=0}^{m} p(1-p)^{i} V_{m-i}(A)$

结果

$V_n(A)$ 是关于 $A$ 的凹函数。
定义 $y_n(A)$ 为使最优方程右侧最大化的 $y$ (如果不止一个 $y$ ，则为最小的 $y$ )。可以证明：
- (i) $y_n(A)$ 关于 $A$ 非递减；
- (ii) $y_n(A)$ 关于 $n$ 非递增。

7. 策略中的顺序交换

在某些问题中，策略由一系列在零点时固定的决策组成。通常在这类问题中，一种有价值的技巧是考虑任意顺序，然后看看当两个相邻的决策交换时会发生什么。

例子

例1

问题

假设一个人面对 $n$ 个任务。第 $i$ 个任务的价值为 $V_i$ ，成功的概率为 $P_i$ 。一旦在一项任务中失败，他就不再被允许尝试其他任务。我们感兴趣的问题是确定一个任务排序使得在失败发生前获得最大的期望价值和。

思路

先考虑交换前两个任务的顺序的影响，再考虑交换任意两个相邻任务的顺序的影响，从而得到一个最优排序应该具有的性质。

例2

问题：工作安排模型

某人有 $n$ 个工作，他必须按顺序执行。第 $i$ 个工作需要随机时间 $X_i$ 来执行，假设 $X_1,\dots,X_n$ 是独立的。此外，如果第 $i$ 项工作在时间 $t$ 完成，那么可获得 $\alpha^tR_i,i=1,\dots, n$ ，其中 $\alpha(0<\alpha<1)$ 被称为折现因子。其目标是选择工作的顺序以使期望总收益最大化。