决策的最优停止理论

概率论课程的小论文，放上来以作存档。

摘要

从当下生活中常见的选择场景出发，本文探索了作出最优选择策略的可能性，并由此引入了最优停止理论与37%法则，并从最优停止理论的最简单情形介绍了其背后的基本数学原理。

关键词：最优停止理论，37%法则，条件概率

背景

​ 假设你是一个刚来到上海的职场新人，正在寻找合适的租房房源。你可能希望能够认真思考，仔细斟酌，在众多选择中反复权衡以确保自己做出了最正确的决定。但现实并不那样理想化，上海的优质房源非常紧凑，若在新房源出现时你不立即做出行动，很快房源就会被其他人预定，因此你只好期望能尽最大可能挑中最心仪的房屋。

​ 很快你就发现自己在“看过的好房子被人挑走”和“还有好房子没来得及看”中陷入了两难境地，你不能确定一套房源是否是最合适的，你总是想了解更多的房源从而收集更多的信息，但遗憾的是，当前收集的信息越多，你与最完美选择失之交臂的概率越高。

​ 到底应该怎样选择？如果收集信息的行为会危及结果，那么怎样才能在掌握足够多信息的基础上做出明智决定呢？你希望能够在继续挑选与做出选择之间达成一个平衡，幸运的是，这样的平衡可以通过数学计算找到。答案就是37%法则：在看前37%的房源时不要做出任何决定，而当过了这个临界点之后，一旦找到比之前所有看过的房子都要更好的房子，那么就果断下手，给房东打电话吧。

​ 这个生活中经常出现的问题，在数学上被称作最优停止问题，37%这个看似神秘的数字，是怎样通过运算一步一步推导出来的？下文讨论最优停止理论的基本问题。

历史

​ 37%法则源于秘书问题——最优停止问题中最著名的问题之一。

​ 秘书问题与背景中的情境非常相似：假设一堆人申请一个秘书岗位，面试官不知道如何给每一名申请人评分，但能够判断哪一名申请人更优秀。面试官按照随机顺序面试申请人，每次面试一名。他随时可以决定将这份工作交给其中一人，而对方一定接受，面试就此结束。但是，若面试官拒绝一名申请人，就不能改变主意再回头选择他。

​ 秘书问题第一次出现是在1960年2月的《科学美国人》中，但这个问题究竟由谁提出还没有定论。该问题以简单的表述和简洁的答案吸引了大众的注意力，在提出后的数十年在数学界掀起了一股研究的潮流。至20世纪80年代，秘书问题已经变成了一个研究分支，许多人撰文讨论这个问题及与其相关的变体。

经典秘书问题

​ 作为最优停止理论研究史上最基础的问题，任何与最优停止理论相关的文章都不会忽略这个问题的介绍。在前文的基础之上，我们用更为精确的语言描述此问题：

1. 有一个秘书职位，有n个申请者，n已知。
2. 面试官能够将n位申请者从最佳到最差进行线性的排名。
3. 面试申请人的顺序是随机的，每种顺序都是等可能性的。
4. 在面试每个申请人时，必须选择接受该职位的申请人并结束决策问题，或者拒绝该申请人并面试下一个。
5. 接受或拒绝申请人的决定必须仅基于迄今为止接受采访的申请人的相对等级。
6. 被拒绝的申请人将无法被召回。
7. 面试官的目标是选择最好的申请人。

​ 规定记号$X_1,X_2,...X_j$代表当前已观测的$j$个面试者的等级排序。$X_j$是第$j$个应聘者的等级（取值从$1$到$j$)，$X_j=1$代表$j$是当前最优的。可知，第$j$个应聘者被选中，当且仅当$X_j=1$。

​ 在第$j$应聘者处得到最优解的概率为：
$$P_j=\{\begin{array}{ll}j/n,& j是当前最优秀的,\\ 0,& otherwise.\end{array}$$
​ 可以采取的策略是：面试时，不论前$r$个人水平如何，都拒绝前$r$个人，然后对剩下的$n-r$个人进行面试。若任何一个面试者比之前面试的人都优秀，那么就聘请这个人。前$r$个人被聘请的概率为0，从第$r+1$个人开始，若面试到的第$k$个人是当前所有人中最优秀的，就选择他并结束决策。

​ 那么在拒绝前r个人的情况下，得到最优秀应聘者的概率为：
$$\begin{gathered} P_r=\sum _{k=r+1}^{n}P(第k个申请者是最优的且被选中) \\ =\sum _{k=r+1}^{n}P(第k个申请者是最优的)P(第k个申请者被选中|第k个申请者是最优的) \\ =\sum _{k=r+1}^n\frac{1}{n}P(前k-1个申请者中最优秀的出现在前r个申请者中) \\ =\sum _{k=r+1}^n\frac{1}{n}\frac{r}{k-1} \\ =\frac{r}{n}\sum _{k=r+1}^n\frac{1}{k-1} \end{gathered}$$

​ 最大概率转化为求解：
$$\begin{gathered} max\frac{r}{n}\sum _{k=r+1}^n\frac{1}{k-1} \\ s.tr\le n,r\in N^{+} \end{gathered}$$
​ 当n较小时，可以直接穷举出最优的情况，但当n较大时，这种方法不再实用。注意到，${\sum }_{k=r}^{n-1}\frac{1}{k}$可以看作函数$y=\frac{1}{x}$在区间$(\frac{r}{n},1)$上以$\frac{1}{n}$为划分宽度的黎曼和。因此可以得到：
$$P_r=\frac{r}{n}\sum _{k=r+1}^n\frac{1}{k-1}=\frac{r}{n}\sum _{k=r}^{n-1}\frac{1}{k}\approx \frac{r}{n}{\int }_{\frac{r}{n}}^1\frac{1}{t}dt=-\frac{r}{n}ln\frac{r}{n}$$
​ 令$x=\frac{r}{n}$,带入，
$$P_r=-xlnx$$
​ 令$$P_r^{\prime }=-1-lnx=0$$,求得当$x=\frac{1}{e}$时，$P_r$有最大值$-\frac{1}{e}ln\frac{1}{e}=\frac{1}{e}\approx 0.368$。

​ 由此可得，经典秘书问题中应聘到最优面试者的最大概率为0.368，此时，$r=\frac{n}{e}=0.368n$。由此提出37%法则：在考察前37%的申请人时，不要接受任何人的申请。之后，只要任何一名申请人比前面所有人选都优秀，就毫不犹豫地选择他。

讨论与拓展

​ 事实证明，利用37%法则，随着申请人数的不断增加，取得理想结果的概率在37%左右。

​ 采用最理想的方案也会有63%的失败率。这告诉我们面对秘书问题，即使我们采取了最优策略，在大多数情况下也会遭遇失败。这似乎看上去令人沮丧，但事实上，在n非常大的时候，比如1000000，我们进行随机选择，得到理想结果的可能性仅仅是0.0001%，对比起来，37%已经是一个令人满意的数字。

​ 但生活并不完全像秘书问题那样简单，其他各种意想不到的情况也可能出现。在经典秘书问题被提出之后，后续也出现了许多变种。这里我们并不介绍具体的运算，而是对更多的变化情况做一个简要的叙述：

​ 在经典秘书问题中，申请者一定会接受面试官的邀请，不会拒绝。但若申请者可能拒绝面试官怎么办？这时模型需要一定的修正——

​ 假设申请者接受的概率为$p$，通过运算可以得到选中最优人选的最大概率为$p^{\frac{1}{1-p}}$。当$p$值为$1$时，问题退化为经典秘书问题。当$p$值为$\frac{1}{2}$时，获得成功的概率为$25\%$，也即观察前$25\%$的申请者之后就应该准备做出选择。

​ 当然，这只是变种之一，数学家们提出了更多的可能性，如：在秘书问题中允许延迟表态，当观察完毕之后再进行选择；或是考虑秘书问题中等待时间所消耗的成本，这些问题的模型更为复杂，因此本文只是提出该种可能，不再深入讨论。

结语

“当我们明白我们该走哪条路的时候，我们常常是已经丧失了走这条路的机会。” ——查尔斯·汉迪

​ 在前文，我们讨论了最优停止问题与其简单实例。显然，我们几乎每天都会遇到类似的问题，或许是面试、租房，或者是选择伴侣等。秘书问题的求解结果，无疑是对我们有一定参考作用的，它大大提高了我们在该情况下正确选择的概率。我们同样可以采取其他方式来进一步提高概率，如：在面试之前就将所有申请人集合起来进行一场考试，来帮助我们掌握更多的信息。

​ 自古以来，人们都希望获得选择的智慧。如何做出完美的选择似乎是所有人共同关注的命题。然而，在某一时刻里我们的认知终究存在边界，想要等待以获得更多的信息来拓宽认知边界，就需要放弃部分咫尺之遥的机会。

​ 在算法之前，这被赋予的更多是哲学的意义，我们需要找到选择的平衡点，在适当的时机做出判断，知止而后得。哲学上的概念似乎是虚无缥缈的，普通人如何寻找那毫厘之间的平衡边界？幸运的是，数学以一种清晰明了的方式帮助我们寻求答案并建立标准。

​ 在对数学和算法的探索中，我们意识到，科学与人文并非泾渭分明，而是相互影响，并在交融中焕发独特的美感。没有人文哲思支撑的技术可能会沦为空洞，而科技也能从另一个角度为哲学问题探明新的解决方法。科学，在某种意义上，也是严谨的思维美学。

参考文献

1. 最优停止问题维基百科，https://en.wikipedia.org/wiki/Secretary_problem#CITEREFFerguson1989
2. Freeman P R. The secretary problem and its extensions: A review[J]. International Statistical Review, 1983, 51(2): 189-206.
3. 最优停止理论 Optimal Stopping Theory 经典秘书问题 Classic Secretary Problem， https://blog.csdn.net/hilda_Huang/article/details/8099202?utm_medium=distribute.pc_relevant.none-task-blog-searchFromBaidu-1.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-searchFromBaidu-1.control
4. Brian Christian, Tom Griffiths. Algorithms to Live by: The Computer Science of Human Decisions, 2016.
5. 带拒绝概率p的变体问题，Smith M H. A secretary problem with uncertain employment[J]. Journal of applied probability, 1975, 12(3): 620-624.