优化算法
文章平均质量分 85
基本的优化算法
Ali.s
少年,当你的能力无法满足你的野心时,最应该做的是提升自己。
展开
-
【最优化算法】基于【MATLAB】的拟牛顿法【Quasi Newton method】分析与推导
避免了牛顿法需要计算Hesse矩阵并求逆的缺陷,拟牛顿法通过正定矩阵近似Hesse矩阵的逆矩阵或Hesse矩阵,简化了这一计算过程。原创 2022-08-08 16:39:50 · 6195 阅读 · 127 评论 -
【最优化算法】基于【MATLAB】的共轭梯度法【Conjugate Gradient】分析与推导
引入阻尼牛顿法进行修正,但是在牛顿法和阻尼牛顿法中都存在计算Hesse矩阵的问题,使得在多次迭代时可能会出现计算量过大的问题。原创 2022-07-19 09:39:29 · 3617 阅读 · 40 评论 -
【最优化算法】基于【MATLAB】的阻尼牛顿法【Damping Newton Method】
前面介绍过敛速度更快的牛顿法,进行最优化问题的求解,在牛顿法中,可能出现在某步迭代时,目标函数数值上升,并且要求函数必须可微,虽然解决了收敛速度过慢的问题,但带来了新的问题。这里对牛顿法进行修正,引入阻尼牛顿法。......原创 2022-07-11 22:08:25 · 3896 阅读 · 23 评论 -
【最优化算法】基于【MATLAB】的牛顿法【Newton Method】计算与推导
前面介绍过通过梯度下降法来一步步的迭代求解,得到最小化的损失函数和模型参数值,有博友评论是不是速度很慢,通过实验仿真确实如此,今天介绍一下收敛速度更快的牛顿法,进行最优化问题的求解。......原创 2022-07-07 23:03:43 · 3193 阅读 · 11 评论 -
【最优化算法】基于【MATLAB】的最速下降仿真
无约束问题的求解过程一般都是通过一系列的一维搜索来实现,搜索方向的不同,形成了不同的最优化方法。最速下降法又叫梯度法,通过梯度下降法来一步步的迭代求解,得到最小化的损失函数和模型参数值。............原创 2022-06-25 22:01:56 · 4344 阅读 · 16 评论