优化方法作业的matlab算法实现

这篇博客分享了使用MATLAB实现优化方法的作业,包括最速下降法、牛顿法、BFGS方法和共轭梯度法解决二次函数极小值问题。作者详细介绍了searchReg和bisection两个辅助函数的实现,其中searchReg通过迭代获取搜索区间,bisection利用二分法确定步长。实验结果显示,牛顿法和共轭梯度法在速度上优于最速下降法。此外,还提及在机器学习中,学习率相当于线搜索的步长,选择合适的学习率对优化速度和精度至关重要。
摘要由CSDN通过智能技术生成

这段时间学习了优化方法,因为相关的大作业在实现以后我觉得还是很有意思的,所以贴一下分享下,兴许还能帮助到自己的学弟学妹们

题目是首先对于一个n维的问题,取初始点为x0 = 0,利用最速下降法,牛顿法,BFGS方法,共轭梯度法求解二次函数f=1/2*x^{T}Gx-b^{T}x的极小点,其中G和b的参数由matlab函数随机生成:

a=unidrnd(10,n,1),

G=a*a^{T}+unidrnd(2)*eye(n),

b=1/2*G*ones(n,1);


首先看主函数,这里定义了问题并且实现了题目中的四种方法。具体算法的来源请参照任意一本优化方法教科书,我这里只说工程上的实现。

但是要注意这里面有两个自定义的函数searchReg和bisection,searchReg的功能是得到在做精确线搜索之前所

matlab优化程序包括:无约束一维极值问题、进退法、黄金分割法、斐波那契法、牛顿法基本牛顿法、全局牛顿法、割线法、抛物线法、三插值法、可接受搜索法、Goidstein法、Wolfe Powell法、单纯形搜索法、Powell法、最速下降法、共轭梯度法、牛顿法、修正牛顿法、拟牛顿法、信赖域法、显式最速下降法、Rosen梯度投影法、罚函数法、外点罚函数法、內点罚函数法、混合罚函数法、乘子法、G-N法、修正G-N法、L-M法、线性规划、单纯形法、修正单纯形法、大M法、变量有界单纯形法、整数规划、割平面法、分支定界法、0-1规划、二规划、拉格朗曰法、起作用集算法、路径跟踪法、粒子群优化算法、基本粒子群算法、带压缩因子的粒子群算法、权重改进的粒子群算法、线性递减权重法、自适应权重法、随机权重法、变学习因子的粒子群算法、同步变化的学习因子、异步变化的学习因子、二阶粒子群算法、二阶振荡粒子群算法 (matlab optimization process includes Non-binding one-dimensional extremum problems Advance and retreat method Golden Section Fibonacci method of basic Newton s method Newton s method Newton s Law of the global secant method parabola method acceptable to the three interpolation search method Goidstein France Wolfe.Powell France Simplex search method Powell steepest descent method Conjugate gradient method Newton s method Newton s method to amend Quasi-Newton Method trust region method explicitly steepest descent method, Rosen gradient projection method Penalty function method outside the penalty function method within the penalty function method Mixed penalty function multiplier method G-N was amended in G-N method L-M method Of linear programming simplex method, revised simplex method Big M method variables bounded simplex method, Cutting Plane Method integer programming branch and bound method 0-1 programming quadratic programming )
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值