数值优化（Numerical Optimization）学习系列-最小二乘问题（Least-Squares）

概述

最小二乘问题在实际应用中非常广泛，也是无约束最优化问题的重要应用之一，但是对于该问题还有一些特殊的求解思路，供参考。该小结主要介绍：

1. 问题定义
2. 线性最小二乘问题以及求解
3. 非线性最小二乘问题以及求解
   总结

最小二乘问题

描述

最小二乘问题泛指具有如下形式的问题

$$min f(x)=\frac12 \sum_{j=1...m}r_j^2(x)$$
其中m一般指实例的个数，r_j指残差，即目标值和预估值的差，根据模型的不同有线性模型和非线性模型，分别线性最小二乘和非线性最小二乘。

向量表示

$r(x)=(r_1(x),r_2(x)...r_m(x))^T$，则目标函数表示为$f(x)=\frac12||r(x)||^2$
J(x)表示Jacobian矩阵，即r(x)对每一个参数的导数矩阵，即$J(x)=\frac{\partial r_j}{\partial x_i}，j=1..m,i=1..n$
则原始问题的一阶梯度和Hessian句分别为

$$\nabla f(x)=\sum_{j=1...m}r_j(x)\nabla r_j(x)=J(x)^Tr(x)$$

∇2f(x)=∑j=1...m∇rj(x)∇rj(x)T