Least Squares 最小二乘

说明

本文作为自己学习最小二乘算法的学习笔记，有不对的地方望指正
参考：
书籍 Lecture note. Methods for Non-Linear Least Squares Problems[J]. lecture note.
知乎: https://zhuanlan.zhihu.com/p/38128785.

介绍

最小二乘问题

最小二乘问题是给定一个函数F，找到F的一个自变量，给出这个所谓的目标函数或成本函数的最小值。这里F（x）是f（x）的二次方合的形式，所以称为最小二乘问题。
最小问题涉及到全局最小和局部最小问题：

我们假设代价函数F是可微的，并且泰勒展开式是有效的：

这个展开形式是重要的，后面会多次用到

局部最小的条件就是：

得到一个概念：平衡点（Stationary point）

我们将稳定点带入到1.4a中，可以看出

根据Hessian的定义(1.4c)，任何H都是对称矩阵。如果我们要求Hs是正定的,那么它的特征值大于某个数δ> 0(见《Methods for Non-Linear Least Squares Problems》附件A)：

所以我们找到局部最小的充要条件：

如果Hs是负定的（negative defifinite），那么xs是局部最大值。如果Hs是不定的（indefifinite）(即它有正的和负的特征值)，那么xs就是一个鞍点（saddle point）。

下降法

所有的非线性优化方法都是迭代的:从起点x0开始，该方法产生一系列向量x1, x2，…，它(希望)会收敛到x，给定函数的局部最小化器，参见定义1.3。大多数方法都有强制降序条件的措施：

当x0远离解时，我们希望这个方法产生迭代，迭代会稳定地向x移动。在迭代的这个全局阶段，使错误不增加：

在迭代的最后阶段，当xk接近x∗时，我们希望更快地收敛。

所以下降法的迭代思路就是要找到合理的逼近方向 h 和逼近步长 α：

所以需要计算方向：

以及步长：

The Steepest Descent method

我们可以定义：

找到最快的下降方向：

基于（2.8）的算法我们叫做最陡下降法或梯度法

Newton’s Method

下一次迭代

详情见书《Methods for Non-Linear Least Squares Problems》的2.2部分

Line Search

下降速度为：

Trust Region and Damped Methods

假设我们有一个F在当前迭代x的邻域内的行为模型L：

通常，这个模型是F在x附近的二阶泰勒展开，就像(1.4a)右边的前三项，或者L(h)可能是这个展开的近似。一般来说，只有当h足够小时，这样的模型才是好的。书中介绍两种方法：

trust region method

我们假设我们知道一个正数∆，使得模型在一个半径为∆，以x为中心的球内足够准确，并确定步长为

damped method

代入2.14可以看出：

为了防止步长带来的h太大带来的风险 通过增益比（gain ratio），评估具有计算步骤的模型的质量

最后得到Nielsen (1999)相关策略：

初始：ν = 2。

最小二乘

最小二乘问题可以用一般的优化方法来解决，但我们将提出更有效的特殊方法。在许多情况下，它们比线性收敛性更好，有时甚至是二次收敛性，即使它们不需要实现二阶导数。在本章方法的描述中，我们需要F的导数的公式:假设F有连续的二阶偏导数，我们可以把它的泰勒展开式写成

其中J就是雅克比矩阵（Jacobian）

所以

并且

The Gauss–Newton Method

高斯-牛顿方法是基于向量函数各分量的一阶导数实现的。在特殊情况下，它可以给出二次收敛，就像牛顿法对一般优化所做的那样，参见Frandsen等人(2004)。高斯牛顿法是基于f (f的线性模型)在x附近的分量的线性近似:对于小的||h||，我们可以从泰勒展开式(3.2)中看到

所以

h的方向：

所以对于算法2.4：

The Levenberg–Marquardt Method

Levenberg(1944)和后来的Marquardt(1963)建议使用阻尼高斯-牛顿法。步骤hlm是通过以下修改来定义的：

算法: