mathematics
ice110956
全新主页上线:www.huangwc.cn,本blog停止更新,欢迎来访。
展开
-
KKT条件--不等式约束最优性条件
KT条件是不等式约束的最优化问题的最优性条件。所谓的最优性条件就是最优解的性质。我们通过最优性条件的研究,能够对于优化的步骤,以及迭代求解时的结束条件有很大帮助。最优化问题常见的有无约束优化,等式约束优化,不等式约束优化。上一篇blog讨论过等式约束的最优性条件(http://blog.csdn.net/ice110956/article/details/17557795),这里我们讨论如下的不等式约束最优化,其最优解满足怎样的性质。原创 2013-12-26 19:13:34 · 33885 阅读 · 3 评论 -
最优化之PH解法
之前几篇blog分别讨论了无约束最优性条件,等式约束最优性条件,不等式约束最优性条件。根据最优性条件,我们可以用解析法求解。还有序列求解的外罚函数法和内罚函数法。 小结一下:无约束问题用微积分的知识,或者简单的下降法可以求解。等式约束问题,构造拉格朗日乘子,再用解析法求解。不等式约束问题复杂一点,构造KKT条件(包括拉格朗日乘子,以及相应的约束)求解。一般情况下,拉格朗日乘子,或者KKT条件无法直接求解。经证明,拉格朗日乘子没有极小值,因此序列迭代求解也不行。我们引进的外罚函数与内罚函数可以用原创 2014-04-03 20:01:11 · 4029 阅读 · 2 评论 -
最优化--等式约束最优性条件
所谓的最优性条件就是最优解的性质。我们通过最优性条件的研究,能够对于优化的步骤,以及迭代求解时的结束条件有很大帮助。最优化问题常见的有无约束优化,等式约束优化,不等式约束优化。这里用两篇blog分别讨论等式约束优化与不等式约束最优化的最优性条件。我们首先讨论等式约束的情况下,其最优解满足怎样的性质。 三维空间:以下以三维空间为特例,看看最优解有哪些性质。原创 2013-12-26 14:29:15 · 15020 阅读 · 3 评论 -
拉格朗日乘子法
之前两篇blog介绍了等式约束最优化,不等式约束最优化的最优性条件。(http://blog.csdn.net/ice110956/article/details/17557795http://blog.csdn.net/ice110956/article/details/17562429)了解最优性条件后,我们通过最优性条件的性质可以来求解,或者验证最优解。通常会构造一个拉格朗日乘子原创 2014-01-14 15:31:40 · 5960 阅读 · 0 评论 -
范数
Wiki里范数的定义:具有长度概念的函数。在线性代数中,是一个函数,其为向量空间内所有向量赋予非零的正长度。最简单的就是实数空间中的绝对值,还有欧式空间中的向量摩长。这篇blog整理向量和矩阵的几种常用范数形式和计算方法。原创 2014-01-15 10:59:15 · 4612 阅读 · 3 评论 -
最优化方法--概述
一个简单的问题描述如下:周长一定,围成怎样的形状能使得面积最大。公元前212~187年,古希腊数学家阿基米德(Archimedes)就曾证明了已知周长,圆所包围的面积最大的等周问题。这算是一个基本的最优化问题。最优化方法定义:应用数学的重要研究领域。它是研究在给定约束之下如何寻求某些因素(的量),以使某一(或某些)指标达到最优的一些学科的总称。简单来说,即以最优化数学模型来解决实际运用中的各种最优化问题。原创 2013-12-26 14:13:14 · 2930 阅读 · 1 评论 -
外罚函数与内罚函数
外罚函数法和内罚函数法式基本的求解有约束条件的最优化问题的方法。外罚函数法通过在非可行域上加上很大的惩罚,迫使解在可行域内,从而求解。内罚函数法通过在可行域边界上筑起高墙,使得函数无法穿透边界,从而求解。外罚函数与内罚函数都有其适用性及弊端。这篇blog通过这两种方法的介绍和对比,引出我们常用的拉格朗日乘子法。原创 2013-12-28 14:42:48 · 25176 阅读 · 2 评论 -
傅里叶变换:MP3、JPEG和Siri背后的数学
九年前,当我还坐在学校的物理数学课的课堂里时,我的老师为我们讲授了一种新方法,给我留下了深刻映像。我认为,毫不夸张地说,这是对数学理论发现最广泛的应用。应用的领域包括:量子物理、射电天文学、MP3和JPEG压缩、X-射线晶体学、语音识别、PET或MRI扫描。这种数学方法叫做傅里叶变换,这种方法因18世纪的法国物理学家、数学家约瑟夫·傅立叶(Joseph Fourier)而得名。这种方法甚至转载 2013-11-12 10:18:28 · 2097 阅读 · 0 评论 -
线性变换与特征向量
线性变换与特征向量,都是计算机视觉,机器学习方面的一些基本储备知识.学习线性代数,特征向量时,只是机械地学习一些公式,结题方法,对于这些定义,方法没有一个直观上的了解.当接触到一个变换场景时,显得特别吃力.其实物理上的理解是非常直观的,于是通过物理上的解释,图片示意,直观地阐释一些原先公式化的东西,希望能够加深印象,更好地理解与更进一步的运用.原创 2013-11-06 15:46:32 · 9414 阅读 · 0 评论 -
小白鼠问题
小白鼠问题问题描述:有 1000 个一模一样的瓶子,其中有 999 瓶是普通的水,有一瓶是毒药。任何喝下毒药的生物都会在一星期之后死亡。问,在一星期时间内,如何用最少的白鼠试验出有毒的那瓶?原创 2013-09-27 09:22:12 · 2102 阅读 · 0 评论 -
线性规划--概述
线性规划:目标函数与约束条件都是线性的。线性的函数也是凸函数(非严格凸)。那么,线性规划也是在凸集上的凸规划。线性约束的线性就是一个线性方程组,我们解这个方程组得到的解也就是这个规划的可行解。一般来说,约束的秩小于变量个数,即线性方程组有无数个解。假设约束矩阵秩为m,我们取其中的m个线性无关向量为其基向量,设其他的非基向量系数 为0,就得到了约束方程A的一个解,称为基解。定理:如线性规划存在可行解,则它必定存在基可行解是最优解。也就是,我们在这些基解中就可以得到最终的最优解。原创 2014-07-11 19:40:49 · 2465 阅读 · 0 评论