![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
高级优化理论与方法
文章平均质量分 92
liuzibujian
这个作者很懒,什么都没留下…
展开
-
高级优化理论与方法(精华版)
我把这个学期讲的重点全部整理在这里了。其实这门课程的内容非常多,其中包括了很多难度比较大的内容,以及为了知识体系的完整性补充的内容,那些内容这里全都没有放上来。这里只挑选了一些难度不大,讲解较为详细,应用较广的内容。也祝所有选这门课的同学考高分!原创 2024-06-26 12:12:35 · 953 阅读 · 2 评论 -
高级优化理论与方法(十五)
这节课主要介绍了约束优化问题的算法,分为投影法和惩罚函数法。在投影法中,为了解决迭代方法中难以求得满足限制条件的最小值问题,引入了正交投影算子。在惩罚函数法中,引入了惩罚函数,对落在约束区域外的点进行惩罚。最后简单介绍了多目标优化问题。多目标优化问题较难,现有的理论较少,只简单介绍了帕累托最优,以及将多目标优化问题转换成单目标优化问题的几种方法。原创 2024-06-17 11:11:25 · 736 阅读 · 0 评论 -
高级优化理论与方法(十四)
本文先讨论了非线性优化问题,再讨论了凸优化问题。在非线性优化问题中,介绍了FONC,SONC和SOSC。并给出了两个例子,介绍了求解非线性优化问题的思路,先通过KKT条件(FONC),求出可能的极值点,再用SONC和SOSC来验证,以此严格说明求出的点是或不是极值点。在凸优化问题部分,先介绍了凸的概念。从图的角度引入了凸函数的概念,并给出了其等价定义。最后给出了一系列定理,证明了KKT条件不仅是凸优化问题的必要条件,也是充分条件。于是,求解凸优化问题,只需要用KKT条件求解即可。原创 2024-06-03 11:28:10 · 471 阅读 · 0 评论 -
高级优化理论与方法(十三)
这节课主要介绍了非线性约束优化问题。按照不同的约束条件,把问题分为了两种情形。第一种情形是只有等式约束,第二种情形既有等式约束又有不等式约束。在第一种情形下,重点介绍了拉格朗日条件,并在二维情况下推导出了拉格朗日条件。由于拉格朗日条件是一阶必要条件(FONC),又进一步介绍了用拉格朗日条件来求最值的拉格朗日乘数法。然后简要地介绍了二阶必要条件(SONC)和二阶充分条件(SOSC)。最后考虑了第二种情形,并给出了KKT条件。原创 2024-05-27 11:39:45 · 470 阅读 · 0 评论 -
高级优化理论与方法(十二)
在线性规划的部分,先讲了上节课没讲完的单纯形法的对偶理论,以及互补松弛条件。然后简要介绍了两个非单纯形法的线性规划解法,Khachiyan的椭球法和Karmarkar的内点法,由于与课程关联不大,这里并没有展开讲解。最后重点讲了整数线性规划,介绍了一些定义和理论基础,然后介绍了两个算法,分支定界法和切平面法。原创 2024-05-13 11:59:20 · 869 阅读 · 0 评论 -
高级优化理论与方法(十一)
前几节课讲的单纯形法侧重于对方法的推导,这节课比较侧重于实践。一上来先规范了单纯形法的解法,并给出例子予以说明。然后讨论了退化基本解的问题,给出例子说明按照之前推导的方法不一定收敛,可能产生死循环。于是给出了Bland's Method,可有效避免死循环的问题,但是该方法的正确性在理论上还没有得到证明。接着,对于$n$远大于$m$的情况,为了减少计算量,又介绍了修正单纯形法。至此,单纯形法基本介绍完毕。原创 2024-05-06 11:46:44 · 1017 阅读 · 2 评论 -
高级优化理论与方法(十)
本节课着重解决上次课提出的关于线性规划的三个问题,即如何找到初始可行解、如何确定$x$达到最优、如何从$x$构造新的可行解。这节课通过一系列的推导,推导出了单纯形法,并给出了单纯形法的算法和样例。对于如何寻找初始可行解的问题,又提出了两阶段的单纯形法。下节课将讨论单纯形法的时间复杂度以及一些优化。原创 2024-04-29 11:09:38 · 281 阅读 · 0 评论 -
高级优化理论与方法(九)
本节课在研究线性规划问题。先给出了线性规划中的一些基础定义,其中最重要的是关于基本解的定义。接下来我们的目标就是如何找到最优的基本解。我们先给出了一种暴力求解算法作为抛砖引玉。同时给出了算法的一个大致框架,但是这个框架存在三个问题,我们将在下次课中一一解决。原创 2024-04-22 11:10:24 · 584 阅读 · 0 评论 -
高级优化理论与方法(八)
这节课先介绍了一些全局搜索法。介绍了奈勒-米德单纯形算法,模拟退火算法,粒子群优化算法,遗传算法(这里讲的比较粗略,可以参考我的另一篇博客)。这些算法都属于启发式算法,算法的理论基础较为薄弱,所以在介绍算法之后没有做过多展开。到这周是第八周了,学期过半。前半学期都在介绍无限制条件的优化算法,后半学期要开始介绍带限制条件的优化算法了。这节课先从比较简单的线性优化开始,介绍单纯形法。这节课证明了任何线性优化问题都可以转化为规范形式,这方便了我们后面的求解。原创 2024-04-15 11:00:18 · 1044 阅读 · 0 评论 -
高级优化理论与方法(七)
上节课介绍了解线性方程组的第一种情况,这节课介绍了第二种和第三种情况。为了使结论更具一般性,还引入了矩阵的伪逆概念。接下来开始介绍神经网络。对神经网络做了一些数学上的简化,为了便于理论研究。主要介绍了最简单的单层神经网络。还提及了多层神经网络的反向传播算法,但由于过于复杂,于是没有具体展开计算。原创 2024-04-08 11:13:53 · 1015 阅读 · 0 评论 -
高级优化理论与方法(六)
本节课先就上节课没讲完的拟牛顿法接着讲,回顾了秩为1的修正方法。由于该方法存在一些问题,为了解决这些问题,又介绍了DFP算法。接着又简要介绍了收敛速度较快的BFGS算法。接着开始了一个新的主题——解线性方程组。由于问题的复杂性,我们讲问题分成两种情况来分类讨论。目前只讲了第一种情况。第一种情况本质上是一个数据拟合问题,根据数据,求得$min ||Ax-b||^2$。然后,介绍了直接的求解公式。最后,对于如何在充分利用已知数据的基础上,对新数据进行拟合,又提出了递归最小二乘法。原创 2024-04-01 11:12:56 · 813 阅读 · 0 评论 -
高级优化理论与方法(五)
这节课从上节课提到的共轭方向法讲起,又介绍了共轭梯度法。牛顿法存在一些缺陷,为了改进,提出了拟牛顿法。关于拟牛顿法中的$H$如何计算,又有一些不同的方法。这节课介绍了秩为1的修正方法,以及DFP算法。原创 2024-03-25 11:20:32 · 885 阅读 · 0 评论 -
高级优化理论与方法(四)
高级优化理论与方法(四)上节回顾Fixed StepsizeSteepest DecentGradient MethodAnalysisTheorem 3Order of convergenceExample 1Example 2Example 3Example 4TheoremTheoremNewton Method优缺点优点缺点Convergence OrderExampleTheoremTheoremModificationConjugate MethodLemmaConjugate Directio原创 2024-03-19 17:37:34 · 297 阅读 · 0 评论 -
高级优化理论与方法(三)
本节课介绍了梯度方法。先是推导出了固定步长的梯度法,然后在此基础上,考虑可变步长,于是推导出了最速下降法。并且给出了对于二次函数的最速下降法的具体做法和例子。最后做了一些理论性的分析,证明了梯度方法的收敛性。原创 2024-03-11 11:25:11 · 405 阅读 · 0 评论 -
高级优化理论与方法(二)
本节课先回顾了FONC和SONC这两个找最值点的必要条件,然后给出了SOSC这个找最值点的充分条件。虽然看上去比较简单,但是关于无约束优化的定理目前也只发展到这种程度。目前数学界还没有找出一个充分必要条件。然后介绍了一维搜索方法中的迭代方法。重点介绍了黄金分割法,简略介绍了斐波那契法、二分法、牛顿法、割线法等方法。原创 2024-03-04 16:19:38 · 908 阅读 · 0 评论 -
高级优化理论与方法(一)
这是一个新的系列。我这个学期选了一门《高级优化理论与方法》的课,想着反正要做笔记,不如直接做电子笔记,于是就有了这个系列。由于这门课是一周上一次,所以我基本上会保持一周一更的速度。内容会从易到难。我们老师的讲稿都是英文的,板书也是英文的。简洁起见,我这里就保留英文板书的原汁原味。但是由于本人的英文水平有限,所以还是偶尔会在里面穿插一些中文。看到中文,大概率是我自己加的注释。由于是课堂笔记,所以里面的内容可能会有一些小错误,或者不那么严谨的地方,还请大家多多包容,批评指正。原创 2024-03-04 15:57:36 · 977 阅读 · 0 评论