一、几何、代数、分析对于最优化理论各扮演什么角色?
几何:优化工作的灵感来源
代数:每一个漂亮的优化理论结果都是一个易于验证的代数结果
问:那么有了几何灵感,如何一步步做出好的优化理论结果呢?即如何给出一个易于验证的代数结果呢?
答:分析
二、几何、代数、分析——大学生涯初期的痛
2013年本科毕业,已经快6年了。大学期间印象最最深刻的还是数学分析、高等代数和解析几何。这三门也是数学专业研究生入学考试初试的必考科目。想当初,自己差不多已经放弃数学了,高考也就考了可怜的122,这种成绩绝对没脸报数学系的。造化弄人,数学是大学冷门,报了5个工科专业全没上,最终还是来了数学系,坑了一爹。
解析几何-是我能够接受的数学,感觉比较好理解,因为自己几何感觉一直不错,所以学起来不费劲。就是计算太麻烦,很容易算错,或者因为几何形状一想就明白,跳步跳得很厉害,没有啥中间过程,立马就写出结果了。
高等代数-对我来讲就稍微有点困难了,但是好像好多代数结论都可以转化到几何背景下理解,没过多久慢慢也接收了代数的行列式计算,矩阵,二次型等跟几何相关的数学知识。而对于线性空间的8条,我是不太理解为什么要这么玩。
数学分析?????-我是一直排斥到底的。这是什么?为什么连π是无理数都要证明?为什么整本书都是极限、连续、epsilon-delta语言体系、无限划分、无限项求和,感觉好啰嗦。就像奶奶没玩没了的絮叨,相似的语句,高度重复的符号,就是不明白为什么要这么啰嗦。
三、几何、分析、代数——硕士毕业后的看法
硕士期间读的是运筹学与控制论-最优化理论与算法方向。导师让读论文,那是彻底懵逼了。好不容易赶鸭子上架,明白了一点点,发现毕业季到了。现在我想把我的一点点心得稍微总结一下,希望看到这篇文章准备学优化理论与算法的小伙伴不是那么懵逼,有点方向感。
优化理论首先你得学会看结论,也就是The main results, 或者核心Theorems。但是优化类文章的工作都是阶段性结果,看一两篇很难看出全貌。这是我们不妨去看一本关于证明的神书——《Proofs from THE BOOK》, During a lecture in 1985, Erdős said, “You don’t have to believe in God, but you should believe in The Book.” 可以看到能够被Erdős看得上的定理都有一个特点——结论非常漂亮。那么理论结果漂亮点看那里呢?首先条件非常少,也就是适用性非常广,其次结果要非常简洁,一个公式或者一个数足矣(除此之外,本书给出的证明也非常漂亮,但是做研究工作首先得给出好的结果,至于证明过程美不美,在初级阶段不是特别提倡)。那么什么是漂亮的优化理论结果呢?
最优化研究的是特定约束下最优解的问题,最小化或者最大化。从这里可以看出,出发点是几何性的,非常直观。但是直观的东西不一定说得清楚,可能你的感觉中80%是对的,20%是错的,数学讲究的是清清楚楚明明白白的结果,所以要对这个几何直观进行深加工。我们最终想要看到一个怎么样的结果呢?这是一个理论路线的“终点”问题,“起点”是几何,上面已经提到了。参考《Proofs from THE BOOK》以及优化界顶级大佬的paper,我们发现,优化理论的重点是——对应于几何直观的一组易于验证的代数结果。懂得优化理论的“起点”和“终点”后,看懂它们,再学点问题背景,学会看paper中的数值实验结果,你就可以尝试做一些偏工程的研究了。那如果想做点理论性结果呢?这时我们要解决的一个问题是如何打通串连“起点”和“终点”的通路。用什么工具来打通呢?这时那个罗里吧嗦的数学分析就排上用场了。几何直观虽然容易理解,但是并不是一个精确化的东西。我们要对其进行精确化定义,用的就是数学分析。啰嗦是啰嗦了一点,但是起码精确性做到了。看看最开始转化过来的描述,必然出现诸如任意点列、任意方向、存在、极限、收敛、epsilon-delta,epsilon-N,邻域等等鬼东西。想想我们想要的漂亮结果长什么样?这绝对不是我们的终点。接着就是数学工作者的饭碗工作了,通过各种转化,引用不等式,引理,定理,慢慢让繁杂的描述变得简洁漂亮,最终得到一个易于验证的代数结果。这个过程像不像升仙?打怪升级?药物提纯?丑小鸭变白天鹅?它的推导过程不是扁平化式的兜圈子,而是螺旋上升的。证明的诀窍往往只要在要研究的点的一个邻域内,把事情证明清楚就OK了。在邻域内,条件充足的话,按数分的思想可以Taylor展开,可以以直代曲等等。当然这个转化过程不可能一番风顺,我们其实是想得到与最初的几何描述完全对等的充分必要条件。但是由于“提纯”的手法因人而异,因工具而异,往往就变成了次等的结果——必要条件,为了得到充分条件,只能加料,但是往往加得冗余,于是就得到了次等结果——充分条件。在一个新问题的提出后,整个理论体系构架还不完善的时候,你在读paper中会看到更多“中间产品”——例如是一个代数性结果,但不好验证,或者分析语言还没剥离彻底,结论很不简洁等等。但是看完我说的这些,至少你知道这些结论还不完美,还处于中途,没到终点,还可以继续,至于做不做得动又是另一回事了!
总而言之,最优化理论就是以几何直观为起点,以一组易于验证的代数结果为终点,通过分析的手段对几何描述进行全面系统精确刻画,然后慢慢升级变成一个“漂亮的结论”。所以想学好优化理论,基础就是几何、代数、分析外加概率。关于概率,暂时引用《Proofs from THE BOOK》中的说法——Probability makes counting (sometimes) easy。