深入浅出最优化
文章平均质量分 97
HarmoniaLeo
这个作者很懒,什么都没留下…
展开
-
深入浅出最优化(8) 拉格朗日乘子法
1 拉格朗日乘子法的数学背景当使用前面介绍的罚函数法求解约束问题时,为获得足够好的近似解,罚参数需取足够大的值,这将导致增广目标函数的黑森矩阵出现病态,从而导致数值计算上的困难。因此提出拉格朗日乘子法。学高数的时候我们就学过等式约束条件下的拉格朗日乘子法。延续前一节中对约束最优化问题的定义,则拉格朗日函数为L(x,μ)=f(x)−∑j∈Eμjhj(x)L(x,\mu)=f(x)-\displaystyle\sum_{j\in E}\mu_jh_j(x)L(x,μ)=f(x)−j∈E∑μjhj(x)原创 2020-05-14 11:59:27 · 2418 阅读 · 4 评论 -
深入浅出最优化(7) 罚函数法
1 约束最优化问题1.1 约束最优化问题的基本结构在我们讨论完无约束最优化问题后,我们接着讨论约束最优化问题。在无约束最优化问题中,我们默认了可行域为RnR^nRn,然而在约束最优化问题中,我们需要为可行域做出一些限制,因此衍生出了一些与无约束最优化问题不同的、独有的性质。一般约束最优化问题的表达为:{minf(x)gi(x)≥0,i∈I={1,2,...,m1}hi(x)=0,j∈E={m1+1,...,m}\begin{cases}minf(x)\\g_i(x)\geq0,i\in I=\{1,原创 2020-05-14 11:57:43 · 9766 阅读 · 3 评论 -
深入浅出最优化(6) 最小二乘问题的特殊方法
1 基本数学表达在前面3节中,我们使用了不同下降方法来求解同一个非线性最小二乘问题,但其实非线性最小二乘问题只是这些下降方法能够求解的问题当中的一个特例。接下来要介绍的方法,将是专门针对非线性最小二乘问题设计的,具有非常优良的相性。由于非线性最小二乘问题的应用广泛,这个方法的介绍也是尤为重要的。下面来看一些基本的数学表达:梯度:g=∇f(x)g=\nabla f(x)g=∇f(x)黑森矩阵:G=∇2f(x)G=\nabla^2 f(x)G=∇2f(x)雅可比矩阵:J(x)=[∂y1∂x原创 2020-05-14 11:55:57 · 919 阅读 · 0 评论 -
深入浅出最优化(5) 共轭梯度下降法
1 共轭方向的定义对于正定二次函数f(x~)=12x~TG~x~+b~Tx~f(\tilde{x})=\frac{1}{2}\tilde{x}^T\tilde{G}\tilde{x}+\tilde{b}^T\tilde{x}f(x~)=21x~TG~x~+b~Tx~,其中GGG是n×nn\times nn×n对角阵,对角元均为正数,这种情况下函数关于原点中心对称,每列由一个n元向量组成,向着每个维度,即正交搜索方向d~\tilde{d}d~,作一次精确线搜索就可以得到最小值的精确解,具有二次终止性。这个原创 2020-05-14 11:26:53 · 3954 阅读 · 0 评论 -
深入浅出最优化(4) 拟牛顿法
1 拟牛顿法的数学基础对于牛顿法,我们保留其快速收敛性,同时克服牛顿法黑森矩阵需要正定的问题以及避免计算黑森矩阵以减少计算量,我们提出了拟牛顿法。假定当前点为xk+1x_{k+1}xk+1,若我们用已得到的xk,xk+1x_k,x_{k+1}xk,xk+1及其一阶导数信息gk,gk+1g_k,g_{k+1}gk,gk+1,构造一个正定矩阵Bk+1B_{k+1}Bk+1作为Gk+1G_{k+1}Gk+1的近似。这样根据牛顿法下降方向的产生公式∇2f(xk+1)dk+1=−∇f(xk+1)\n原创 2020-05-13 17:38:00 · 788 阅读 · 1 评论 -
深入浅出最优化(3) 最速下降法与牛顿法
1 下降算法中的搜索方向1.1 下降方向的判定根据泰勒展开f(xk+αkdk)=f(xk)+αkgkTdk+o(∣∣αkdk∣∣2)f(x_k+\alpha_kd_k)=f(x_k)+\alpha_kg^T_kd_k+o(||\alpha_kd_k||^2)f(xk+αkdk)=f(xk)+αkgkTdk+o(∣∣αkdk∣∣2),忽略极小项后,我们可以在xkx_kxk点处找到f(x)f(x)f(x)的一条切线s(α)=f(xk)+gkTdkαs(\alpha)=f(x_k)+g_k原创 2020-05-13 12:13:32 · 5098 阅读 · 0 评论 -
深入浅出最优化(2) 步长的计算方法
在上节中本教程介绍了迭代搜索的基本步骤。考虑基本步骤中的每一步的基本元素:步长、下降方向和终止准则,其中终止准则是我们已经明确给出的,而步长和下降方向可以是任意的。但任意并不代表随机,一个随机的迭代搜索算法是无法保证收敛性的。步长和下降方向需要我们针对每一步搜索到的点的情况来求解,不仅要保证算法的收敛性,还要使得算法具有尽可能快的收敛速度。在本节中本教程将介绍迭代搜索过程中步长的计算方法,而下降...原创 2020-05-07 00:11:48 · 9136 阅读 · 0 评论 -
深入浅出最优化(1) 最优化问题概念与基本知识
1 最优化问题1.1 什么是最优化问题最优化问题大体上分为连续最优化问题和离散最优化问题两种。后者涉及到离散数学、组合数学等学科,属于计算机专业的专业课程,而前者的雏形在微积分课程中,甚至在高中、初中、小学的数学课堂上就有所涉及。我们还记得求一个定义域内连续可微的一元实函数的最小值点的求解方法:求导,寻找导数为0的点,再求二阶导,这些点当中二阶导大于0的点是我们需要的极值点,再将这些极点对应...原创 2020-05-06 01:18:09 · 4680 阅读 · 0 评论