文章详细介绍了在优化问题中，目标函数的表达式，包括其平方范数形式。接着讨论了雅可比矩阵、梯度和海森矩阵的概念，这些是优化算法的核心工具。最后，提到了几种迭代算法，如梯度下降、牛顿法、高斯牛顿法以及莱文贝格-马夸特法，它们利用这些矩阵进行参数更新。
目标函数
目标函数：
L
(
x
)
=
1
2
∥
F
(
x
)
∥
2
=
1
2
[
f
1
(
x
)
2
+
f
2
(
x
)
2
+
.
.
.
+
f
m
(
x
)
2
]
L(x) = \frac{1}{2}\|F(x)\|^2=\frac{1}{2}[f_1(x)^2+f_2(x)^2+...+f_m(x)^2]
L(x)=21∥F(x)∥2=21[f1(x)2+f2(x)2+...+fm(x)2]
其中，
x
∈
R
n
x \in \R^n
x∈Rn为
n
n
n维向量，
F
(
x
)
=
[
f
1
(
x
)
,
f
2
(
x
)
,
.
.
.
,
f
m
(
x
)
]
T
∈
R
m
F(x)=[f_1(x),f_2(x),...,f_m(x)]^T \in \R^m
F(x)=[f1(x),f2(x),...,fm(x)]T∈Rm为
m
m
m维向量。
雅可比矩阵(Jacobian matrix)
雅各比矩阵： J ( x ) = [ ∂ f 1 ∂ x 1 . . . ∂ f 1 ∂ x n . . . . . . . . . ∂ f m ∂ x 1 . . . ∂ f m ∂ x n ] J(x)=\begin{bmatrix} \frac{\partial f_1}{\partial x_1} & ... & \frac{\partial f_1}{\partial x_n}\\...&...&...\\\frac{\partial f_m}{\partial x_1}&...&\frac{\partial f_m}{\partial x_n} \end{bmatrix} J(x)= ∂x1∂f1...∂x1∂fm.........∂xn∂f1...∂xn∂fm ，其中 J i j ( x ) = ∂ f i ∂ x j J_{ij}(x) = \frac{\partial f_i}{\partial x_j} Jij(x)=∂xj∂fi。
梯度
梯度： g ( x ) = ∇ 1 2 ∥ F ( x ) ∥ 2 = J ( x ) T F ( x ) g(x) =\nabla \frac{1}{2}\|F(x)\|^2= J(x)^TF(x) g(x)=∇21∥F(x)∥2=J(x)TF(x)
海森矩阵(Hessian matrix)
海森矩阵： H ( x ) = [ ∂ 2 L ∂ x 1 2 . . . ∂ 2 L ∂ x 1 ∂ x n . . . . . . . . . ∂ 2 L ∂ x 1 ∂ x n . . . ∂ 2 L ∂ x n 2 ] H(x) = \begin{bmatrix} \frac{\partial^2 L}{\partial x_1^2} & ... & \frac{\partial^2 L}{\partial x_1\partial x_n}\\...&...&...\\\frac{\partial^2 L}{\partial x_1\partial x_n}&...&\frac{\partial^2 L}{\partial x_n^2} \end{bmatrix} H(x)= ∂x12∂2L...∂x1∂xn∂2L.........∂x1∂xn∂2L...∂xn2∂2L ，其中 H i j ( x ) = ∂ 2 L ∂ x i ∂ x j H_{ij}(x)=\frac{\partial^2 L}{\partial x_i \partial x_j} Hij(x)=∂xi∂xj∂2L。
迭代算法
| 迭代算法 | 迭代公式 x k + 1 = x k − Δ x k x^{k+1}=x^{k}-\Delta x^{k} xk+1=xk−Δxk |
|---|---|
| 梯度下降 | Δ x = μ g ( x ) \Delta x=\mu g(x) Δx=μg(x) |
| 牛顿法 | Δ x = H − 1 ( x ) g ( x ) \Delta x= H^{-1}(x)g(x) Δx=H−1(x)g(x) |
| 高斯牛顿法 Gauss-Newton algorithm | Δ x = [ J ( x ) T J ( x ) ] − 1 g ( x ) \Delta x=[J(x)^TJ(x)]^{-1}g(x) Δx=[J(x)TJ(x)]−1g(x) |
| 莱文贝格－马夸特法 Levenberg-Marquardt algorithm | Δ x = [ J ( x ) T J ( x ) + λ I ] − 1 g ( x ) \Delta x= [J(x)^TJ(x)+\lambda I]^{-1}g(x) Δx=[J(x)TJ(x)+λI]−1g(x) |
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
