![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数值优化
西贝弓虽木鬼
遇事不急不躁,寻解决之法;遇人不卑不亢,思相处之道
展开
-
最速下降法
1. 定义 一阶最优化算法。 以负梯度方向作为极小化方法的下降方向,即(1.1) 2. 为什么负梯度方向是下降最快的方向? (1)将目标函数f(x)在x_k处泰勒级数展开,如下所示: (2.1) 其中x_k表示第k次极值迭代点,是f(x)在x_k处的偏导,o(x_k)表示高阶无穷小。 (2)将迭代公式(标准的line search公式,其中p是下降方向,一般有||原创 2014-12-16 09:39:49 · 7570 阅读 · 0 评论 -
共轭梯度法
1. 简介 共轭梯度法是一种迭代方法。 1.1 等价 (a)线性方程Ax=b (b)优化问题 (1.1),并有(1.2) 从而(a)与(b)具有相同的解。 如果令(1.3),则当x=x_k时,有(1.4)。 2. 共轭梯度方法 2.1 什么是共轭? 给定一个对称正定矩阵A,存在一组非零向量,若满足下式(2.1),则称这些向量关于矩阵A共轭。 (2.1)原创 2014-12-25 10:25:56 · 5122 阅读 · 0 评论 -
牛顿法
1. 定义 用迭代点的梯度和二阶导数对目标函数进行二次逼近,把二次函数的极小点作为新的迭代点,不断重复此过程,直到找到最优点。 2. 原理 目标函数f(x)在x_k的泰勒展开式前三项为: (2.1) 其中g_k是目标函数的一阶梯度,H_k是海森矩阵。 x为极小值点的一阶必要条件是: (2.2) 令下降方向p 为,则(2.3) 将(2.3)式代入(2.1)式,可原创 2014-12-25 09:59:04 · 782 阅读 · 0 评论