【算法】综述

综述

远在控制理论形成之前,就有蒸汽机的飞轮调速器、鱼雷的航向控制系统、航海罗经的稳定器、放大电路的镇定器等自动化系统和装置。这些都是不自觉地应用了反馈控制概念而构成的自动控制器件和系统的成功的例子。但我们何尝知道在控制理论形成之前的漫长岁月中,由于缺乏理论指导而失败了的无数次的实践和尝试呢?

开拓阶段-单回路反馈

1920~1940s 20世纪20年代到40年代,马克斯威尔对装有调速器的蒸汽机系统动态特性的分析、马诺斯基对船舶驾驶控制的研究都是控制理论的开拓性工作。奈奎斯特、伯德等人对单回路反馈系统的研究结果显示出反馈控制即使在系统情况知之不多的条件下也可以得到较好的性能。

发展阶段-控制论

1940~1950s 维纳对控制理论作出了创造性的贡献。他的控制论概念提供了一个可以把控制问题和通信问题统一考虑的框架。他同时也发展了在有噪声的情况下信号的滤波、预报和平滑的方法,其后又利用了当时刚提出的平稳随机过程,最后建立了信息的伯德一香农概念。

转折时期-动态规划，最优反馈控制规律，不等式约束的线性和非线性规划//卡尔曼滤波器

1950~1960s 控制理论发展的转折时期。第二次世界大战后华尔德的序贯分析和贝尔曼的动态规划是转折时期的开端。这些理论受到最优统计决策和资源分配中的序贯规划问题研究的激发。它们在概念上的贡献是考虑了一大类以初始状态参数化了的动态优化问题。这个理论的中心问题是建立最优性能的动态规划方程,从它的解就可以确定最优反馈控制规律。与此同时,优化领域中另一个长期被忽视的强调不等式约束的线性和非线性规划也开始得到发展。这个领域的研究人员首先设计了便于计算机计算的数值方法,这种方法后来在控制中变得十分有用。

1 序贯分析，动态规划

序贯分析是 数理统计学 的一个分支。 其名称源出于美国统计学家 亚伯拉罕·瓦尔德 在1947年发表的一本同名著作。 在研究决策问题时，不是预先固定样本量（观察数目），而是逐次取样（观察），直到样本提供足够的信息，能恰当地作出决策为止。
序贯抽样方室是指在抽样时,不事先规定总的抽样个数(观测或实验次数)，而是先抽少量样本,根据其结果,再决定停止抽样或继续抽样、抽多少,这样下去，直至决定停止抽样为止。反之，事先确定抽样个数的那种抽样方案，称为固定抽样方案。
它研究的对象是所谓“序贯抽样方案”,及如何用这种抽样方案得到的样本去作统计推断。美国统计学家道奇和罗米格的二次抽样方案是较早的一个序贯抽样方案。1945年,施坦针对方差未知时信和检验正态分布的均值的问题,也提出了一个二次抽样方案,据此序贯抽样方案既可节省抽样量,又可达到预定的推断可靠程度及精确程度。
第二次世界大战时,为军需验收工作的需要,瓦尔德发展了一种一般性的序贯检验方法,叫做序贯概率比检验,此法在他的1947年的著作中有系统的介绍。瓦尔德的这种方法提供了根据各次观测得到的样本值接受原假设HO或接受备择假设H1的临界值的近似公式,也给出了这种检验法的平均抽样次数和功效函数,并在1948年与美国统计学家沃尔福威益一起,证明了在一切两种错误概率分别不超过a和B的检验类中,上述序贯概率比检验所需平均抽样次数最少。瓦尔德在其著作中也考虑了复合检验的问题,有许多统计学者研究了这种检验。瓦尔德的上述开创性工作引起了许多统计学者对序贯方法的注意,并继续进行工作,从而使序贯分析形成为数理统计学的一个分支。除了检验问题以外,序贯方法在其他方面也有不少应用,如在一般的统计决策、点估计、区间估计等方面都有不少工作。

动态规划（英语：Dynamic programming，简称 DP），是一种在数学、管理科学、计算机科学、经济学和生物信息学中使用的，通过把原问题分解为相对简单的子问题的方式求解复杂问题的方法。动态规划常常适用于有重叠子问题和最优子结构性质的问题。

2 非线性系统

苏联学者在20世纪50年代对包含非线性特性、饱和作用和受到限制的控制等因素的系统的最优瞬态的研究表现出很大的兴趣。这些学者的研究讨论导致了庞特里亚金的极大值原理。这个原理打开了系统地研究受到状态与控制两方面的约束而使用不连续控制函数的最优轨迹的大道。这些又紧密地和变分法联系,又进一步刺激了与非线性泛函分析相关的更抽象的优化问题的理论的研究。极大值原理的最大贡献可说是20世纪50年代和60年代对于大量轨迹优化数值计算方法的研究的冲力。这种研究最后导致许多空间载运器的成功的设计,其中包括阿波罗计划和宇航飞行计划
变分法是17世纪末发展起来的一门数学分支，是处理泛函的数学领域，和处理数的函数的普通微积分相对。它最终寻求的是极值函数：它们使得泛函取得极大或极小值。变分法起源于一些具体的物理学问题，最终由数学家研究解决。有些曲线上的经典问题采用这种形式表达：一个例子是最速降线，在重力作用下一个粒子沿着该路径可以在最短时间从点A到达不直接在它底下的一点B。在所有从A到B的曲线中必须极小化代表下降时间的表达式。
变分法的关键定理是欧拉－拉格朗日方程。它对应于泛函的临界点。在寻找函数的极大和极小值时，在一个解附近的微小变化的分析给出一阶的一个近似。它分辨不出找到的是最大值还是最小值（或者两者都不是）。

3卡尔曼(卡尔曼-一布西)滤波器

显示控制理论转折时期的另一个里程碑是20世纪50年代后期卡尔曼(卡尔曼-一布西)滤波器的发现。早期滤波器设计的维纳理论受到关于平稳随机过程的假设和要求解积分方程或分解傅氏变换的限制。卡尔曼滤波器则不受这些限制,而且可以在小型计算机上当作序贯算法来实现。它的设计在于求解矩阵黎卡提方程。用对偶理论可以得到以同样方程表达的线性反馈控制。这些思想在世界上有巨大影响,它推动了有关反馈控制和滤波的大量研究工作,导致了控制理论的许多实际应用成果。
最近25年线性系统理论的研究非常活跃。自从引人了能控性、能观性、状态实现、线性二次型高斯调节问题的概念之后,这一领域已成为整个控制理论发展的概念基础,而且还成为将成果普遍化到非线性和分布参数系统上去的标准典范和对所有新的控制规范的试验基础。同时,它本身还在继续发展,不断提出新概念、精确的结果和算法。线性系统的几何方法已引出了超不变性、能控性子空间、干扰去耦、非关联控制等重要新概念和对高放大反馈系统的渐近分析方法。与此相关的是线性控制问题的数值分析方面的重要工作。近年来,许多先进线性理论的计算算法已形成商品软件,可以在各种型号计算机(包括个人计算机)使 现在已在非线性常微分方程描述的反馈控制系统的研究中引人了微分几何、李代数、非线性动力学等方法,并得到了很大进展,解决了反馈线性化和非线性去耦问题,也在能控性研究上得到更精确的结果。采用非线性动力学的方法已将反馈镇定作用推广到反馈不能线性化的非线性系统上去。

李代数是一类重要的非结合代数。 最初是由19世纪挪威数学家索菲斯·李创立李群时引进的一个数学概念，经过一个世纪，特别是19世纪末和20世纪的前叶，由于威廉·基灵、嘉当、外尔等人卓有成效的工作，李代数本身的理论才得到完善，并且有了很大的发展。在数学中，李群是具有群结构的实流形或者复流形，并且群中的加法运算和逆元运算是流形中的解析映射。李群在数学分析、物理和几何中都有非常重要的作用。

进阶发展时期-线性二次型理论推广到无穷维系统

1960~1970s 将线性二次型理论推广到无穷维系统(即以偏微分方程、泛函微分方程、积分微分方程和在巴拿赫空间的一般微分方程描述的系统)的工作得到很大进展。这一类研究工作是沿着好几条路分别进行的。有人试图得到能为大类无穷维系统应用的一般的算子形式;而另一些人则从一些特殊方程开始做起,如用波动方程或时延微分方程,企图在进行更普遍的形式的研究之前能从具体问题的结构中得到一些启发。经过一段时间的研究已弄清不可能找到一种解求所有无穷维问题的普遍形式,而只能是具体问题具体求解,由此引出了诸如解的常规性、各种无穷维的近似方案的有效性、变分形式等细节研究。目前研究的是以线性偏微分方程或相对简单的迟延方程描述的只能在空间的边界上加以观察和控制的系统。至于对非线性无穷维系统的控制问题的研究,只有在出现了概念上的突破后才谈得到。

偏微分方程的另一方面工作是用包含连续时间和空间变量的动态规划方法推导出来的最优化方程。这一方程也叫哈密尔顿-一雅可比一一贝尔曼方程,已成为先驱分析家的激励的源泉。这些分析家已提出了“粘性解的概念”。如果他们的方法最终能解决哈密尔顿-一雅可比一贝尔曼方程的求解,那么就会有另一种设计非线性反馈控制的工具。

凸分析为控制理论和变分法提供了新方法,也为它们通向数学规划和运筹学的数值分析架起了桥梁。在20世纪70年代早期,凸分析就扩展到“非光滑分析”中去,形成了解决长期末解决的最优控制问题的一个新基础。20世纪60年代发展起来的变分不等式理论在自由边界问题的研究中显示了功效,

进阶控制阶段-随机控制理论

1970~1980s 非线性滤波的研究,继续扩展了卡尔曼滤波器,并向它注人了许多新思想。最优控制问题的随机形式在20世纪70年代和80年代吸引了许多学者的兴趣。这一领域是当前最活跃的领域之一。在应用方面,随机控制理论的概念框架已开始对大规模交互关联的动力系统的控制起了影响。

代数在发展更有效的线性控制理论上有多方面的建树。环和模的概念的引人精确地重构了早期获得的有关能控性和能观性的结论。像多项式环上因子分解那样的代数计算方法近来变得很重要。代数几何方法在多变量系统奈查斯特稳定准则和系统辨识中参数化问题的求解方面起了重要作用。

20世纪70年代末80年代初,反馈控制的设计问题经历了一个重新修正的过程。在基于微分方程的状态空间方法普及了多年之后,基于输入输出或频率分析的设计方法又重新抬头。这种方法显得和健壮控制研究有较完善的配合,因为它允许对所有镇定控制器参数化,并可以从中选择其性能在所有频率范围内都一致符合要求的一个控制器。鲁棒控制中的$H_{\infty }$方法采用了插人理论和复值函数理论(即所谓$H_{\infty }$空间),其理论深度和实用重要性使此理论成为20世纪80年代重要成果之一。

随着人工智能的发展和引入了新的计算机结构,控制理论和计算机科学的联系愈来愈密切。近来已有一些专家系统可以自动寻求最优随机控制和滤波问题的理论解和数值解。在控制框架上将符号运算和数值运算相结合的研究工作正在开展。智能控制的概念也在发展,其目标之一是将当前的控制理论与尚未成形的人工智能成功地合成一体。离散事件系统理论架起了一座通向扩展了的状态机器理论的桥梁,在将来可能为评价计算机系统的性能提供一个建模工具。

理论框架

	泛函分析	偏微分方程	数值分析
基础数学方向	√	√		拓扑学、微分几何
应用数学方向	√	√	√	应用分析
概率统计方向			√	统计推断、线性回归、应用随机过程
计算数学方向	√	√	√	偏微分方程数值解
运筹学与控制论方向	√		√	离散数学方法、数学规划

泛函分析是20世纪30年代形成的数学分科，是从变分问题，积分方程和理论物理的研究中发展起来的。它综合运用函数论，几何学，现代数学的观点来研究无限维向量空间上的泛函，算子和极限理论。它可以看作无限维向量空间的解析几何及数学分析。泛函分析在数学物理方程，概率论，计算数学等分科中都有应用，也是研究具有无限个自由度的物理系统的数学工具。

泛函分析（Functional Analysis）是现代数学的一个分支，隶属于分析学，其研究的主要对象是函数构成的空间。泛函分析是由对函数的变换（如傅立叶变换等）的性质的研究和对微分方程以及积分方程的研究发展而来的。使用泛函作为表述源自变分法，代表作用于函数的函数。巴拿赫（Stefan Banach）是泛函分析理论的主要奠基人之一，而数学家兼物理学家维多·沃尔泰拉（Vito Volterra）对泛函分析的广泛应用有重要贡献。

一般的泛函就是把函数作为元素来研究的一门学科，泛函分析，举个简单一点的列子，我们以前学的函数是把数字作为基本的元素来研究的，现在更高一个层次，就是元素就是一个函数，比如全体实系数连续函数构成一个集合A，那么这个A中每一个元素就是一个函数，而泛函就是研究在类似于A这种集合到数之间的关系，比如在定义一个A到实数R的映射f(x),那么x就代表一个函数，所以有些人也称为是研究函数的函数，不过这只是粗略介绍而已，详情你要自己学了就知道

泛函分析在数学物理方程、概率论、计算数学、连续介质力学、量子物理学等学科有着广泛的应用。近十几年来，泛函分析在工程技术方面有获得更为有效的应用。它还渗透到数学内部的各个分支中去，起着重要的作用。

附录

第一卷 几何，代数，集合，概率统计初步

数学
算术
初等代数
平面几何
平面三角
立体几何
球面几何
平面解析
几何空间
解析几何
初等数论
高等代数
高等几何
数学分析
集合论
形式逻辑
布尔代数
概率论与统计学初步
数学符号表

第二卷 群，李代数，凸集，奇点理论，序与格，一般拓扑学

数学
组合学	10
线性与多重线性代数	137
群及其推广	185
李群与李代数	242，严格的李群概念,在流形概念形成后
环与代数	261
模与同调代数	342
序与格	364
范畴论与代数K理论	401
域论与伽罗瓦理论	422
数论	448
代数几何	504
微分几何学	524,R3中的曲线和曲面,微分流形与黎曼几何,黎曼对称空间,复几何与辛几何，子流形几何，调和映射与杨-米尔斯场。其他类型的几何结构
凸集几何与距离几何	600，凸集几何，距离几何，
一般拓扑学	615
代数拓扑学与流形拓扑学	658，代数拓扑学，几何拓扑学，微分拓扑学
奇点理论与突变理论	722，奇点理论，突变理论，
数学符号表

第三卷 泛函，变分，位势论，凸分析，偏微分方程

数学
实变函数论
复变函数论
多复变函数论
测度论
泛函分析
变分法
函数通近论
调和分析
流形上的分析
位势论
凸分析	凸分析为控制理论和变分法提供了新方法,也为它们通向数学规划和运筹学的数值分析架起了桥梁。在20世纪70年代早期,凸分析就扩展到“非光滑分析”中去,形成了解决长期末解决的最优控制问题的一个新基础。20世纪60年代发展起来的变分不等式理论在自由边界问题的研究中显示了功效,
非标准分析
小波分析
分形几何
常微分方程
偏微分方程
积分方程
动力系统
特殊函数
数学符号表

第四卷 随机过程，概率论，模糊数学，经济学，统计学

数学
数学基础
数理逻辑
计算数学
概率论
随机过程
统计学
经济数学
生物数学
数学物理与理论物理
模糊数学
数学符号表

第五卷 运筹学，控制论，力学，天文学应用

数学运筹学
系统理论
控制理论
通信与信息理论
画法几何与工程图学
计算机科学
数理语言学
力学
天文学
测绘学
数学符号表

第六卷 发展史，机构，符号史，期刊，哲学

数学
中国数学史
外国数学史
数学符号史
数学团体与研究机构
数学竞赛与数学奖
数学期刊
数学教育
数学哲学
数学名题与猜想
珠算
数学发展史年表