本文详细介绍了线性最小二乘法、非线性优化的梯度下降法、牛顿法以及Levenberg-Marquardt(LM)算法。通过泰勒展开和迭代更新，探讨了LM算法如何在不同λ值下平衡牛顿法和梯度下降法。此外，还讨论了在有约束条件下应用LM算法的罚函数法。
1. 线性最小二乘法
m o d e l : y c ( x ) = A x model: \boldsymbol{y}_{c}(\boldsymbol{x})=\boldsymbol{A}\boldsymbol{x} model:yc(x)=Ax
o b j e c t i v e f u n c t i o n : f ( x ) = 1 2 ∣ ∣ y s − y c ( x ) ∣ ∣ 2 = 1 2 ∣ ∣ y s − A x ∣ ∣ 2 objective function: f(\boldsymbol{x})=\frac{1}{2}||\boldsymbol{y}_{s}-\boldsymbol{y}_{c}(\boldsymbol{x})||^{2}=\frac{1}{2}||\boldsymbol{y}_{s}-\boldsymbol{A}\boldsymbol{x}||^{2} objectivefunction:f(x)=21∣∣ys−yc(x)∣∣2=21∣∣ys−Ax∣∣2
f ′ ( x ) = ( − A T ) ( y s − A x ) = 0 f^{\prime}(\boldsymbol{x})=(-\boldsymbol{A}^{T})(\boldsymbol{y}_{s}-\boldsymbol{A}\boldsymbol{x})=\textbf{0} f′(x)=(−AT)(ys−Ax)=0
x = ( A T A ) − 1 A T y s \boldsymbol{x}=(\boldsymbol{A}^{T}\boldsymbol{A})^{-1}\boldsymbol{A}^{T}\boldsymbol{y}_{s} x=(ATA)−1ATys
不需要迭代计算
2. 非线性优化（梯度下降法）
m o d e l : y c ( x ) = g ( x ) , ∂ y c ( x ) ∂ x = J ( x ) model: \boldsymbol{y}_{c}(\boldsymbol{x})=g(\boldsymbol{x}), \frac{\partial \boldsymbol{y}_{c}(\boldsymbol{x})}{\partial \boldsymbol{x}}=\boldsymbol{J(\boldsymbol{x})} model:yc(x)=g(x),∂x
最低0.47元/天 解锁文章
1434
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
