最优化方法及其matlab程序设计
文章平均质量分 63
一些基础的优化算法和相应的matlab程序实现
是璇子鸭
纸上得来终觉浅,绝知此事要躬行
展开
-
第十章 可行方向法
基本思想:要求每一步迭代产生的搜索方向不仅对目标函数是下降方向,而且对约束函数来说是可行方向,即迭代点总是满足所有的约束条件。本章内容转载自博主ML*:Zoutendijk可行方向法梯度投影法...转载 2021-06-22 10:55:07 · 892 阅读 · 0 评论 -
第九章 罚函数法
文章主要介绍外罚函数法、内点法、乘子法这三种罚函数法,其基本思想为根据约束条件的特点,将其转化为某种惩罚函数加到目标函数中去,从而将约束优化问题转化为一系列的无约束优化问题来求解。原创 2021-06-22 10:33:56 · 10353 阅读 · 2 评论 -
第八章 最优性条件
内容来自马昌凤编著的《最优化方法及其Matlab程序设计》,文章仅为个人的学习笔记,感兴趣的朋友详见原书。1.等式约束问题的最优性条件拉格朗日定理假设x∗x^*x∗是如下问题的局部极小点minf(x)min f(x)minf(x)s.t.hi(x)=0,i=1,2,...,ls.t. h_i(x)=0, i=1,2,...,ls.t.hi(x)=0,i=1,2,...,lf(x)f(x)f(x)和hi(x)h_i(x)hi(x)在x∗x^*x∗的某邻域内连续可微。若向量组▽hi(x∗)▽.原创 2021-06-22 01:03:10 · 765 阅读 · 2 评论 -
第六章 信頼域方法
内容来自马昌凤编著的《最优化方法及其Matlab程序设计》,文章仅为个人的学习笔记,感兴趣的朋友详见原书。信頼域方法和线搜索技术都是在优化算法中求出每次迭代的位移,从而确定新的迭代点。不同的是:线搜索技术是先产生搜索方向,然后确定搜索步长;而信頼域技术则是直接确定位移,产生新的迭代点。基本思想:首先给定一个“信頼域半径”作为位移长度的上界,并以当前迭代点为中心,此“上界”为半径“画地为牢”,确定一个被称为“信頼域”的闭球区域。再以此为基础,一步步求解、缩放半径,直至满足迭代终止条件。信頼域方法的基.原创 2021-06-22 00:22:06 · 664 阅读 · 0 评论 -
第五章 拟牛顿法
内容来自马昌凤编著的《最优化方法及其Matlab程序设计》,文章仅为个人的学习笔记,感兴趣的朋友详见原书。拟牛顿法及其性质基本思想:在基本牛顿法的步2中用Hess矩阵GkG_kGk的某个近似矩阵BkB_kBk(对称正定)取代GkG_kGkj将dk=−Gk−1gkd_k=-G_k^{-1}g_kdk=−Gk−1gk转变成dk=−Bk−1gkd_k=-B_k^{-1}g_kdk=−Bk−1gk(BFGS)或dk=−Hkgkd_k=-H_kg_kdk=−Hkgk(DFP)对称.原创 2021-06-21 23:42:53 · 582 阅读 · 0 评论 -
第四章 共轭梯度法
内容来自马昌凤编著的《最优化方法及其Matlab程序设计》,文章仅为个人的学习笔记,感兴趣的朋友详见原书。共轭梯度法是介于最速下降法与牛顿法之间的一种无约束优化算法,具有超线性收敛速度,算法结构简单。同时,与前一章的最速下降法类似,共轭梯度法只用了目标函数及其梯度值,避免了求二阶导数,从而降低了计算和储存量。共轭方向法共轭的定义设G是n阶对称正定矩阵,若n维向量组d1,d2,...,dm(m<=n)d_1,d_2,...,d_m(m<=n)d1,d2,...,dm(m<=.原创 2021-06-21 22:45:13 · 1788 阅读 · 5 评论 -
第三章 最速下降法和牛顿法
内容来自马昌凤编著的《最优化方法及其Matlab程序设计》,文章仅为个人的学习笔记,感兴趣的朋友详见原书。本章讨论无约束优化问题minf(x)minf(x)minf(x)的最速下降法和牛顿法及其改进算法,前者简单而古老,虽不再具有实用性,却是研究其他无约束优化算法的基础;后者也是一种经典的无约束优化算法,具有收敛速度快和自适应性等优点。最速下降方法及其Matlab实现算法程序function [x,val,k]=grad(fun,gfun,x0)% 功能: 用最速下降法求解无约束问题: .原创 2021-06-21 19:33:41 · 2635 阅读 · 1 评论 -
第二章 线搜索技术
以下方法的原理及matlab程序精确线搜索——0.618法(黄金分割法)非精确线搜索——Armijo准则原创 2021-06-20 23:29:35 · 766 阅读 · 2 评论 -
第一章 最优化理论基础
最优化理论基础,内容为:最优化问题的数学模型函数的可微性与展开(梯度与Hess矩阵)凸集与凸函数无约束问题的最佳条件与一般算法框架收敛性(线性收敛等)原创 2021-06-20 21:50:37 · 2187 阅读 · 1 评论