【MQ翻译】非线性最小二乘问题的求解方法：1. Introduction and Definitions

一直想看非线性最小二乘问题，但是每次都看得“不求甚解”、“零零散散”，刚好在网上下载到了一个英文版的教程：METHODS FOR NON-LINEAR LEAST SQUARES PROBLEMS（点此下载.pdf），感觉介绍的还不错，内容也没有特别长，所以就自己翻译了一版，供大家交流，如有错误还请指正。

---

在本册内容中，我们讨论以下问题：

定义1.1 最小二乘法

找到一个局部极小值 ，使得对于  的函数   ：

其中， () 是给定的函数，。

例1：数据拟合是一类非常重要的最小二乘问题。如图1.1所示的数据点，我们可以进一步地给出它的拟合模型：

这个模型包含四个参数： 。我们假设存在一个使得：

其中，  表示纵坐标误差，类似“白噪音”。

 

对任何一组，我们都可以计算出残差（residuals）：

对于最小二乘拟合，我们通过使得残差平方之和最小来确定， 的图像如图1.1中的实线所示。

最小二乘问题是一般问题的一个特殊变体：给定一个函数()，找到的一组参数，使得目标函数（objective function）或成本函数(cost function)的值最小。

定义1.2 全局最小值（Global Minimizer）

总体来说，这个问题很难解决，我们只能将其简化为一个寻找的局部最小值的问题，也就是说，在一个给定大小为  的区域内找到一个参数向量，使得 在该区域内有最小值，其中  是一个非常小的正数。

定义1.3 局部最小值（Local Minimizer）

在接下来的介绍中，我们将讨论优化中的一些基本概念，第2章简要回顾了为一般成本函数寻找局部最小值的方法。更多详情请参考Frandsen等人(2004)的研究论文。在第三章中，我们给出了专门针对最小二乘问题的方法。

我们假设目标函数是光滑可微的，那么就可以使用下面的泰勒展开式（Taylor expansion）：

         （1.4a）

其中，g表示梯度：

         （1.4b）

H 代表海森矩阵（Hessian）：

     （1.4c）

如果  是一个局部极小值点且  非常小，那么点 处的值不会比现在的值更小。把这个结果与（1.4a）结合起来，我们可以得到：

定理1.5 局部最小值的必要条件

如果  是一个局部极小值点，那么有：

我们用一个特别的名字来命名满足上述条件的点：

定义1.6 驻点

如果点  处满足

那么  就被称为 的驻点。

因此，局部极小化也是一个驻点，但局部极大化也是一个驻点。既不是局部极大值也不是局部极小值的驻点称为鞍点（saddle point）。为了确定给定的驻点是否是局部极小值点，我们需要在泰勒级数(1.4a)中包含二阶项。

 (1.7)

根据海森矩阵的定义(1.4c)， 是对称矩阵。如果我们要求 是正定（positive definite）的，那么它的特征值大于某个大于0的数，并且有：

这表明，在足够小的情况下，式(1.7)右边第三项将由第二项决定。所以我们得到：

定理1.8 局部最小值的充分条件

如果驻点  满足  是正定的，那么 是一个局部极小值点。

如果是负定的（negative definite），那么 是一个局部极大值。如果是不定矩阵（特征值既有正数又有复数），那么 是一个鞍点。