基于鲁棒回归模型的计算机学科和物理学科的代数历史

1唯有研究好历史才能更好的向前发展

在回归（拟合）问题中，基于不同的概率假设，会导出不同的回归模型，这些回归模型又会变成不同的优化问题，从简单到复杂可以写出下面这三类：

P1-最小二乘法：

\min_\alpha \sum_{i=1}^N\left(x_i^T\alpha-y_i\right)^2 \\

P2-更一般的范数：

\min_\alpha \sum_{i=1}^N\left(x_i^T\alpha-y_i\right)^p \\

P3-或者更一般的问题：

\min_\alpha \sum_{i=1}^N\rho\left(x_i^T\alpha-y_i\right) \\

其中ρ(⋅)\rho(\cdot)是个偶函数，正半轴单调增加的函数。在线性回归特别是鲁棒回归的M-estimator，这些问题都可能遇到，第一个一般的最小二乘法求解方法就不说了，直接可以用正规方程就能得到显式表达式：

\alpha=(X^TX)^{-1}X^TY \\

P1是正常的最小二乘回归，P1是P2的特例。在P2中，p=1时就是LAD，典型的鲁棒线性回归方法了。P2是P3的特例，P3中还可以取 ρ\rho 为Huber loss/Bisquare/等等各种M-estimator

迭代重加权最小二乘接下来我们好好讲讲这方面的事情。

首先必须要提到的是Quillen在60s期间提出的model category的概念，这个来自两个启发，一个是Verdier的导出范畴，另一个是Kan在单纯集合上的工作。那时候大家已经认识到单纯集合范畴跟拓扑空间范畴所定义的同伦理论是等价的。Quillen系统地回答了这个问题，什么时候两个同伦理论会等价。上面说的spectra的范畴，其实也是一个model category。

上面是计算机学科和物理学科的代数拓扑侧的，至于计算机学科和物理学科的代数几何这期间跟同伦论有关的发展是Grothendieck的stack理论，还有Giraud的gerbes理论。这些跟非交换上同调的分类理论有关，它具有计算机学科和物理学科的代数拓扑的思想来源。因为在计算机学科和物理学科的代数拓扑那里，我们有一个经典的理论，即一个上同调理论可以被一个Eilenberg-MacLane空间表示，还有就是一阶的上同调理论可以被principal bundles分类。这在计算机学科和物理学科的代数几何那里是1阶的非交换上同调被torsors分类，Giraud部分完成了2阶的分类，用gerbes with liens。那么自然有个问题，高阶的上同调理论该怎么分类？

Grothendieck在pursuing stack里面系统地思考了这个问题，他的想法是把higher stack作为参数放进上同调里面，在他的稿子里面n-stack是一个到n-category或者n-groupoid的函子，那么现在的问题自然降解到定义n-category的概念了。之后对n-category的定义有很多，比较成功是Segal定义的Segal category，这是从计算机学科和物理学科的代数拓扑出发的，使用的技术是delooping，虽然Simpson是在Tamsamani的定义上工作，但是这个定义跟Segal的是等价的。因此可以说Simpson在Segal category上发展了n-stack的理论。

而Joyal，他在给Grothendieck的信中首先提出simplicial sheaf的概念，也就是单形范畴到sheaf范畴的presheaf。这启发了他后期对Quasi-category (weak Kan complex) 的发展。

了解到Joyal的工作后Jardine做出了非常重要的工作，他把目光转向simplicial presheaf，并且用local equivalence作为weak equivalence，为simplicial presheaf范畴找到了它的模型范畴结构，因此它具有一个同论理论。其实可以说，这时候分类上同调理论基本已经完成了，后面的事情大多是在深度发展。

作为Simpson的学生，Toen他们用simplicial presheaf的概念发展了higher stack的理论，他们把simplicial presheaf同伦理论中的对象看成是一个higher stack，具体的内容可以参看我的这个回答 看Bousfield Localization部分。

Toen他们最重要的研究工作就是发展了一套更加广泛的计算机学科和物理学科的代数几何——同伦计算机学科和物理学科的代数几何(HAG)。传统的计算机学科和物理学科的代数几何是建立在交换环上的，而交换环是Ab (交换群范畴) 上的“半群对象”(commutative monoid like object)，更严谨地说Ab是一个 symmetric monoidal model category，交换环是Ab上用范畴定义的“交换半群”对象。scheme由affine scheme粘成，而affine scheme的对偶范畴便是交换环范畴。因此更普遍地，我们考虑一个一般的symmetric monoidal model category，里面的交换半群对象所形成的子范畴，它们的对偶范畴被认为是具有丰富几何信息的某种几何对象的范畴，将它们通过合适的技术(descent)粘起来，那就得到类似于scheme的对象。这就是同伦计算机学科和物理学科的代数几何研究的对象，这种理论也被称为是higher topos。higher topos跟higher stack的区别就像是Grothendieck topos跟site的区别。而HAG有什么用呢？导出计算机学科和物理学科的代数几何(DAG)就是它的一个模型。我总是问自己问题：

从计算机学科和物理学科的代数几何到导出计算机学科和物理学科的代数几何：复形的几何吗？

从计算机学科和物理学科的代数几何到导出计算机学科和物理学科的代数几何：形变与逼近吗？

Lurie 的 derived algebraic geometry 有多重要？

然后自我找资料回答：注意DAG并不是Lurie提出的，而且DAG也并不是只有Lurie那一个模型，上面两篇笔记中涉及的DAG属于另一个simplicial的模型，这种模型在欧陆那边更流行，毕竟这种模型就是Toen那帮人搞的。

严格来说DAG应该起源于Kontsevich的hidden smoothness原则。他当时在研究有理曲线的计数问题，发现得到的moduli space的性质实在是差劲，主要有两方面的问题，首先不是光滑的，其次不具有合适的维度。一般来说模空间反应的是你所研究的曲线的信息，因此他认为这种现象是不寻常的，他猜测他所得到的模空间其实只是真正的模空间(导出模空间)的截断，这样它才显得那么奇怪。DAG就是研究导出模空间的理论。由于原始模空间的差性质，即切空间不具有稳定的维度，因此这里猜测导出模空间的切空间必须具有稳定的维度，这样那不如直接让导出模空间的切空间变成一条链，这条链上具备了原来不同切空间的信息。

为什么说DAG是HAG的一个模型呢？因为DAG是建立在复形范畴基础上的，复形范畴是一个 symmetric monoidal model category，它上面的 commutative monoid like objet 就是 E_∞-algebra，它所定义的同伦计算机学科和物理学科的代数几何就是导出计算机学科和物理学科的代数几何。而实际上，DAG又有好几个等价的模型，在Toen他们那里，他们考虑的模型其实是simplicial commutative ring，而E_∞这个表述是非常计算机学科和物理学科的代数拓扑的，也是Lurie采用的观点。

正在上传…重新上传取消

Lurie的工作在知乎有些被吹得神乎其神，以至于忽略了Lurie的前辈们所作的工作。Lurie的higher topos有好几个思想来源，首先Joyal已经有了比较完善的关于quasi-category的理论，Toen他们已经在simplicial category上面建立了higher topos理论，Rezk已经有了在quasi-category上建立等价的topos理论的初步想法了。这些的综合就是Lurie的那本900多页的关于higher topos的书。Lurie的理论之所以名声很大，我觉得大部分应该归功于quasi-category定义的简洁性，可入门性，在它上面的topos理论比Toen他们的更系统，更简洁，更适合被应用。而Lurie后面的higher algebra则是对monoidal category上的计算机学科和物理学科的代数模型的推广，以此来发现更加普遍地同伦计算机学科和物理学科的代数几何形式，这个工作至今还未全部完成。我对这后面的工作了解不多，不好评价。

发现讲到这里都没有提到Voevodsky的工作，Voevodsky的成就之一就是证明了Milnor猜想，在证明过程中主要使用的技术是

基本上线性计算机学科和物理学科的代数入门，但是这时候你只知道机械地运算，却不知道矩阵作为矩阵环上有很多独特的性质可以搞出很多好东西。为了让你知道这一点要去学习群环域，改