Descent Method for 最小化（最优化）问题（一）

最新推荐文章于 2023-02-23 14:52:43 发布

VIP文章 WenguoHou

最新推荐文章于 2023-02-23 14:52:43 发布

阅读量1.3k

点赞数

分类专栏： Optimization Implicit Method 文章标签：最优化

本文链接：https://blog.csdn.net/wg_hou/article/details/78952779

版权

Descent Method - Gradient Method / Newton’s Method / Quasi-Newton methods / CG / et al.

0 Minimization Problem

通常，线性系统 $\mathbf{Ax} - \mathbf{b} = \mathbf{0}$ ，其中 $\mathbf{x}$ 为 $n \times 1$ 的列向量， $\mathbf{x} = ( x_1, x_2, \cdots, x_n)$ 。通过线性最小二乘法（Linear Least Squares ）构建为最小化问题： $f(\mathbf{x}) = || \mathbf{Ax} - \mathbf{b} ||^2$ 。
对于非线性系统 $G(\mathbf{x}) = 0$ ，亦可以构建最小化问题： $f(\mathbf{x}) = \frac{1}{2}G^T(\mathbf{x})G(\mathbf{x})$ 。

最小化问题（Minimization Problem ）可以通过下降方法 ( Descent Method ) 求解，如 Gradient Descent, Newton’s Method, Quasi-Newton Method, Nonlinear Conjugate Gradient Method, etc.

对于 $\mathbf{x}$ 的函数 $f(\mathbf{x})$ ，其梯度， $Hessian$ 矩阵分别为：

\nabla f (x) = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial f \partial x 1 \partial f \partial x 2 ⋮ \partial f \partial x n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\nabla f(\mathbf{x}) = \begin{bmatrix} \frac{\partial f}{\partial x_1} \\ \frac{\partial f}{\partial x_2} \\ \vdots \\ \frac{\partial f}{\partial x_n} \\ \end{bmatrix}$

\nabla 2 f (x) = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial 2 f \partial 2 x 1 \partial 2 f \partial x 2 \partial x 1 ⋮ \partial 2 f \partial x n \partial x 1 \partial 2 f \partial x 1 \partial x 2 \partial 2 f \partial 2 x 2 ⋮ \partial 2 f \partial x n \partial x 2 \dots \dots ⋱ \dots \partial 2 f \partial x 1 \partial x n \partial 2 f \partial x 2 \partial x n

最低0.47元/天解锁文章

WenguoHou

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
Descent Method for 最小化（最优化）问题（一）

最优化 / 最小化问题的求解方法gradient descent method, Newton's method, Quasi-Newton's method, nonlinear conjugate gradient method
复制链接

扫一扫