浅谈最优化理论研究如何开展？

一、几何、代数、分析对于最优化理论各扮演什么角色？

几何：优化工作的灵感来源

代数：每一个漂亮的优化理论结果都是一个易于验证的代数结果

问：那么有了几何灵感，如何一步步做出好的优化理论结果呢？即如何给出一个易于验证的代数结果呢？

答：分析

二、几何、代数、分析——大学生涯初期的痛

2013年本科毕业，已经快6年了。大学期间印象最最深刻的还是数学分析、高等代数和解析几何。这三门也是数学专业研究生入学考试初试的必考科目。想当初，自己差不多已经放弃数学了，高考也就考了可怜的122，这种成绩绝对没脸报数学系的。造化弄人，数学是大学冷门，报了5个工科专业全没上，最终还是来了数学系，坑了一爹。

解析几何-是我能够接受的数学，感觉比较好理解，因为自己几何感觉一直不错，所以学起来不费劲。就是计算太麻烦，很容易算错，或者因为几何形状一想就明白，跳步跳得很厉害，没有啥中间过程，立马就写出结果了。

高等代数-对我来讲就稍微有点困难了，但是好像好多代数结论都可以转化到几何背景下理解，没过多久慢慢也接收了代数的行列式计算，矩阵，二次型等跟几何相关的数学知识。而对于线性空间的8条，我是不太理解为什么要这么玩。

数学分析？？？？？-我是一直排斥到底的。这是什么？为什么连π是无理数都要证明？为什么整本书都是极限、连续、epsilon-delta语言体系、无限划分、无限项求和，感觉好啰嗦。就像奶奶没玩没了的絮叨，相似的语句，高度重复的符号，就是不明白为什么要这么啰嗦。

三、几何、分析、代数——硕士毕业后的看法

硕士期间读的是运筹学与控制论-最优化理论与算法方向。导师让读论文，那是彻底懵逼了。好不容易赶鸭子上架，明白了一点点，发现毕业季到了。现在我想把我的一点点心得稍微总结一下，希望看到这篇文章准备学优化理论与算法的小伙伴不是那么懵逼，有点方向感。

优化理论首先你得学会看结论，也就是The main results, 或者核心Theorems。但是优化类文章的工作都是阶段性结果，看一两篇很难看出全貌。这是我们不妨去看一本关于证明的神书——《Proofs from THE BOOK》， During a lecture in 1985, Erdős said, “You don’t have to believe in God, but you should believe in The Book.” 可以看到能够被Erdős看得上的定理都有一个特点——结论非常漂亮。那么理论结果漂亮点看那里呢？首先条件非常少，也就是适用性非常广，其次结果要非常简洁，一个公式或者一个数足矣（除此之外，本书给出的证明也非常漂亮，但是做研究工作首先得给出好的结果，至于证明过程美不美，在初级阶段不是特别提倡）。那么什么是漂亮的优化理论结果呢？

最优化研究的是特定约束下最优解的问题，最小化或者最大化。从这里可以看出，出发点是几何性的，非常直观。但是直观的东西不一定说得清楚，可能你的感觉中80%是对的，20%是错的，数学讲究的是清清楚楚明明白白的结果，所以要对这个几何直观进行深加工。我们最终想要看到一个怎么样的结果呢？这是一个理论路线的“终点”问题，“起点”是几何，上面已经提到了。参考《Proofs from THE BOOK》以及优化界顶级大佬的paper，我们发现，优化理论的重点是——对应于几何直观的一组易于验证的代数结果。懂得优化理论的“起点”和“终点”后，看懂它们，再学点问题背景，学会看paper中的数值实验结果，你就可以尝试做一些偏工程的研究了。那如果想做点理论性结果呢？这时我们要解决的一个问题是如何打通串连“起点”和“终点”的通路。用什么工具来打通呢？这时那个罗里吧嗦的数学分析就排上用场了。几何直观虽然容易理解，但是并不是一个精确化的东西。我们要对其进行精确化定义，用的就是数学分析。啰嗦是啰嗦了一点，但是起码精确性做到了。看看最开始转化过来的描述，必然出现诸如任意点列、任意方向、存在、极限、收敛、epsilon-delta，epsilon-N，邻域等等鬼东西。想想我们想要的漂亮结果长什么样？这绝对不是我们的终点。接着就是数学工作者的饭碗工作了，通过各种转化，引用不等式，引理，定理，慢慢让繁杂的描述变得简洁漂亮，最终得到一个易于验证的代数结果。这个过程像不像升仙？打怪升级？药物提纯？丑小鸭变白天鹅？它的推导过程不是扁平化式的兜圈子，而是螺旋上升的。证明的诀窍往往只要在要研究的点的一个邻域内，把事情证明清楚就OK了。在邻域内，条件充足的话，按数分的思想可以Taylor展开，可以以直代曲等等。当然这个转化过程不可能一番风顺，我们其实是想得到与最初的几何描述完全对等的充分必要条件。但是由于“提纯”的手法因人而异，因工具而异，往往就变成了次等的结果——必要条件，为了得到充分条件，只能加料，但是往往加得冗余，于是就得到了次等结果——充分条件。在一个新问题的提出后，整个理论体系构架还不完善的时候，你在读paper中会看到更多“中间产品”——例如是一个代数性结果，但不好验证，或者分析语言还没剥离彻底，结论很不简洁等等。但是看完我说的这些，至少你知道这些结论还不完美，还处于中途，没到终点，还可以继续，至于做不做得动又是另一回事了！

总而言之，最优化理论就是以几何直观为起点，以一组易于验证的代数结果为终点，通过分析的手段对几何描述进行全面系统精确刻画，然后慢慢升级变成一个“漂亮的结论”。所以想学好优化理论，基础就是几何、代数、分析外加概率。关于概率，暂时引用《Proofs from THE BOOK》中的说法——Probability makes counting (sometimes) easy。