数值优化
文章平均质量分 90
下一步
长期关注NLPMLCLinux等
展开
-
数值优化(Numerical Optimization)学习系列-概述
数值优化的学习过程是长期的、是枯燥的也是最有用的,一旦入门对机器学习者、算法工作者都会有很大的帮助。在此记录Numerical Optimization的学习、思考和实践。原创 2015-12-27 18:43:01 · 31198 阅读 · 17 评论 -
数值优化(Numerical Optimization)学习系列-序列二次规划和内点法(SQP、Interior-Point)
概述 对于非线性约束最优化问题,序列二次规划和内点法是两类非常重要的算法,也是大规模问题的利器。序列二次规划方法将原始问题分解为一系列二次规划问题逐步求解;内点法将将约束添加到目标函数中转换为一系列无约束问题逐步求解。两类算法共同思想将原始问题转换为可求解问题。 1. 序列二次规划概述 2. 内点法概述 3.总结序列二次规划(SQP)概述序列二次规划(Seque原创 2015-12-27 18:57:33 · 47883 阅读 · 2 评论 -
数值优化(Numerical Optimization)学习系列-惩罚和增广拉格朗日方法(Augmented Lagrangian Methods)
概述 求解带约束的最优化问题,一类很重要的方法就是将约束添加到目标函数中,从而转换为一系列子问题进行求解,最终逼近最优解。关键问题是如何将约束进行转换。本节主要介绍 1. 二次惩罚方法 2. 非平滑惩罚方法 3. 增广拉格朗日方法二次惩罚方法动机带约束问题如果转换为目标函数加上一个对约束的惩罚项,则问题转换为一个无约束问题。 转换后的问题可以通过惩罚项的系原创 2015-12-27 18:56:54 · 23414 阅读 · 3 评论 -
数值优化(Numerical Optimization)学习系列-二次规划(Quadratic Programming)
概述 二次规划问题是目标函数是二次的,并且约束是线性的问题。在非线性约束最优化问题中非常重要,通常作为其他问题的子步骤存在。 1.二次规划问题 2.二次规划求解算法 3. 总结二次规划问题标准形式二次规划问题的标识形式如下minq(x)=12xTGx+xTcs.t.aTix=bi, i∈E aTix≥bi, i∈Imin q(x)=\frac 12x^TGx原创 2015-12-27 18:56:13 · 28432 阅读 · 1 评论 -
数值优化(Numerical Optimization)学习系列-非线性约束最优化(Nonlinear Constrained Optimization)
概述 在实际问题中不是所有的目标函数或者约束都是线性的,本节主要介绍对于非线性约束或者目标函数如何有效的求解。 1. 非线性约束问题概述 2. 求解非线性约束常用的思路 3. 总结非线性约束最优化问题基本形式表示为min f(x) s.t ci(x)=0,i∈Eci(x)≥0,i∈Imin\ f(x)\ \\ s.t\ \ c_i(x)=0, i \in原创 2015-12-27 18:55:43 · 12814 阅读 · 0 评论 -
数值优化(Numerical Optimization)学习系列-线性规划(Linear Programming)
概述 线性规划问题是指目标和约束函数都是线性的最简单的约束最优化问题,也是在实际中最长使用的模型之一。其求解算法也是相对成熟,各个代数软件中都会有求解该问题的工具,本节主要介绍: 1. 线性规划的基本形式已经对偶 2. 线性规划两类求解算法:单纯形和内点法 3. 总结线性规划问题标准形式线性规划的标准形式通常表示为min cTx,s.t Ax=b, x原创 2015-12-27 18:54:46 · 8788 阅读 · 0 评论 -
数值优化(Numerical Optimization)学习系列-带约束最优化(Constrained Optimization)
概述 带约束的最优化问题是区别于无约束最优化问题的,另外一大类最优化问题。在实际中也经常遇到,本节主要介绍了带约束最优化问题的相关理论以及最优解满足的必要条件。 1. 带约束最优化问题概述 2. 带约束最优化问题解的必要条件示例 3. 最优解满足的一阶和二阶必要条件 4. 对偶 5. 总结带约束最优化问题数学形式为min f(x)st. ci(x原创 2015-12-27 18:53:46 · 13507 阅读 · 4 评论 -
数值优化(Numerical Optimization)学习系列-非线性方程(Nonlinear Equation)
概述 实际中很多应用不是寻找最优解,而是寻找一个根满足给定的约束条件,如果有n个非线性等式约束,就是本节介绍的非线性方程问题,本节主要介绍 1. 非线性方程的问题形式 2. 非线性方程的求解算法 3. 总结非线性方程的问题形式问题形式,寻找满足n个非线性等式的根,即r(x)=0r(x) = 0 其中r(x)=[r1(x),...rn(x)]Tr(x)=[r原创 2015-12-27 18:52:46 · 4834 阅读 · 0 评论 -
数值优化(Numerical Optimization)学习系列-最小二乘问题(Least-Squares)
概述最小二乘问题在实际应用中非常广泛,也是无约束最优化问题的重要应用之一,但是对于该问题还有一些特殊的求解思路,供参考。该小结主要介绍: 问题定义 线性最小二乘问题以及求解 非线性最小二乘问题以及求解 总结 最小二乘问题描述最小二乘问题泛指具有如下形式的问题minf(x)=12∑j=1...mr2j(x)min f(x)=\frac12 \su原创 2015-12-27 18:52:09 · 13801 阅读 · 0 评论 -
数值优化(Numerical Optimization)学习系列-无梯度优化(Derivative-Free Optimization)
概述 在实际应用中,有些目标函数的梯度不容易计算,即使使用有限差分等近似算法,也会因为噪声的存在导致结果不精确。无梯度优化算法(DFO-Derivative-Free Optimization)可以在不计算梯度的情况下进行问题的最优化,主要有两类思路,一是根据目标函数的样本进行拟合,对拟合函数进行最优化;二是用一些启发式算法。 1. 有限差分和误差 2. 基于模型近似的方法原创 2015-12-27 18:51:19 · 12391 阅读 · 0 评论 -
数值优化(Numerical Optimization)学习系列-计算导数(Calculating Derivatives)
概述 最优化问题中很多算法,包括非线性最优化、非线性等式等都需要计算导数。简单函数可以直接进行人工计算或者编码实现,对于复杂的情况,需要寻找一些方法进行计算或者近似。本节主要内容包括 1. 常见导数求解方法 2. 有限差分方法 3. 自动微分方法 4. 总结常见导数求解方法有限差分方法(Finite Differencing)根据导数的定义,导数表原创 2015-12-27 18:50:22 · 5034 阅读 · 0 评论 -
数值优化(Numerical Optimization)学习系列-大规模无约束最优化(Large-Scale Unconstrained Optimization)
概述 当最优化问题参数个数增加,求解问题所需要的时间和空间复杂度会增加。计算时间和空间是一个权衡,只需要存储一阶梯度时,时间复杂度可能为超线性;如果利用Hessian矩阵可以达到二次收敛,但是需要o(n2)o(n^2)的空间复杂度。 另外对于拟牛顿算法所得到的Hessian矩阵式稠密的,不能利用到稀疏矩阵的一些性质。针对以上问题本小节给出求解大规模无约束最优化问题的一些思路,主要内容原创 2015-12-27 18:49:36 · 4886 阅读 · 2 评论 -
数值优化(Numerical Optimization)学习系列-拟牛顿方法(Quasi-Newton)
概述 拟牛顿方法类似于最速下降法,在每一步迭代过程中仅仅利用梯度信息,但是通过度量梯度之间的变化,能够产生超线性的收敛效果。本节主要学习一下知识点: 1. 拟牛顿方程推导 2. 几个常见的拟牛顿方法 3. 拟牛顿方法的收敛性拟牛顿方程拟牛顿方法既有线搜索的影子也有牛顿方法的思想,下面从两个角度分别介绍拟牛顿方程,即在拟牛顿方法中要遵循的一个原则。线搜索原创 2015-12-27 18:48:32 · 13367 阅读 · 2 评论 -
数值优化(Numerical Optimization)学习系列-共轭梯度方法(Conjugate Gradient)
概述 共轭梯度算法在最优化问题中备受关注,有两层用途,一是可以求解线性方程Ax=bAx = b;二是可以求解最优化问题。相对于最速下降法,它没有额外的矩阵存储并且比更快,一般N步内收敛。实际收敛效率依赖于系数矩阵特征值的分布。主要介绍一下内容: 1. 线性共轭梯度算法 2. 共轭方向算法 3. 共轭梯度算法 4. 收敛性 5. 非线性共轭梯度算法线性共轭梯度算法原创 2015-12-27 18:46:50 · 15077 阅读 · 4 评论 -
数值优化(Numerical Optimization)学习系列-信赖域方法
信赖域方法和线搜索类似都是迭代方法,与其不同的是,每次迭代时,在一个选定的可信赖区域内,选择当前迭代点的近似模型 mkm_k ,然后计算最优步长;如果步长不合适,可以对区域进行缩放。该小结主要介绍:信赖域方法的基本形式求解信赖域的基础方法信赖域方法的收敛性和收敛速度信赖域方法的扩展信赖域方法的基本形式在信赖域方法中,可信赖的区域(Region)的选择很重要,一般都会根据上原创 2015-12-27 18:45:43 · 23848 阅读 · 7 评论 -
数值优化(Numerical Optimization)学习系列-线搜索方法(LineSearch)
数值优化的学习过程是长期的、是枯燥的也是最有用的,一旦入门对机器学习者、算法工作者都会有很大的帮助。在此记录Numerical Optimization的学习、思考和实践。原创 2015-12-27 18:44:23 · 35350 阅读 · 8 评论 -
数值优化(Numerical Optimization)学习系列-目录
概述数值优化对于最优化问题提供了一种迭代算法思路,通过迭代逐渐接近最优解,分别对无约束最优化问题和带约束最优化问题进行求解。 该系列教程可以参考的资料有 1. 《Numerical Optimization 2nd》–Jorge Nocedal Stephen J. Wright 2. 《凸优化》–Stephen Boyd 3. 《非线性最优化基础》–Masao Fukushima原创 2015-12-27 19:07:11 · 36137 阅读 · 8 评论