无约束最优化方法学习笔记

这一段时间学习优化理论中的一些经典方法，写下一些要点和体会，帮助自己和有需要的人理解最优化方法。本文介绍了如下优化方法的原理和计算步骤：

• 最速下降法。
• 牛顿法。
• 共轭梯度法。
• 变尺度法（变度量法）。
• 线性最小二乘法。
• 非线性最小二乘问题的高斯牛顿法和Levenberg-Marquardt法。
• 坐标轮换法。

１.基础知识

首先来看无约束最优化问题：
$$\min f(x)\text{\hspace{1em}(1)}$$
其中函数 $f:R^n\to R$.求解此问题的方法方法分为两大类：最优条件法和迭代法。

所谓的最优条件法，是指当函数存在解析形式，能够通过最优性条件求解出显式最优解。对于无约束最优化问题，如果$f(x)$在最优点$\bar{x}$附近可微，那么$\bar{x}$是局部极小点的必要条件为：
$$\nabla f(\bar{x})=0\text{\hspace{1em}(2)}$$

我们常常就是通过这个必要条件去求取可能的极小值点，再验证这些点是否真的是极小值点。当上式方程可以求解的时候，无约束最优化问题基本就解决了。实际中，这个方程往往难以求解。这就引出了第二大类方法：迭代法。

迭代法，也称为“搜索”法，主要思想是通过简单的运算构造点列，逐渐逼近问题的最优解。这里说的“点”是多维空间中的点，也称为“向量”。还有少部分算法通过构造点的集合来逼近问题的最优解，如单纯形调优法。

用于求解无约束最优化问题的方法可以分为解析法和直接法两大类。解析法在构造迭代公式的过程中往往使用了泰勒展开来作近似或者推导，因此迭代步骤中含有梯度$\nabla f(x)$或黑塞(Hessian)矩阵${\nabla }^{2}f(x)$，在问题的解析形态较好的情况下使用往往能获得比较快的收敛速度。而直接法则从物理角度思考如何递推，不会用到梯度或者黑塞矩阵，它对问题的解析形态几乎没有要求，只要能计算出函数值即可。当然，它的收敛速度往往难于保证。

2.解析法

求解无约束最优化问题的解析法主要有：最速下降法、牛顿法、共轭梯度法（DFP法）和变尺度法（变度量法）。对于特殊的最小二乘问题，有最小二乘法。这些方法各有千秋，除了最小二乘法，后面的方法都针对前面方法的某个问题做了改进。这些方法的核心就是研究如何确定每一步迭代的方向和步长。

2.1最速下降法

最速下降法(Gradient Descent Method)的基本思想是：因为连续函数沿着负梯度方向的下降速度是最快的（这一结论由梯度和方向导数的定义可以推出），所以每次迭代我们都从当前点出发，沿着负梯度方向前进一个最优步长，可以期望能较快逼近函数的极值。

最速下降法仅有三个步骤：

1. 设置初始值。设置迭代起点$x_0\in R^n$,允许误差$ϵ>0$和迭代变量初值$k\leftarrow 0$。
2. 检查终止条件。如果$||\nabla f(x_k)||<ϵ$，停止迭代输出$x_k$作为近似最优解；否则转步骤3。
3. 迭代，也就是通过一维搜索求下一个迭代点。取搜索方向为负梯度方向$d_k=-\nabla f(x)$，求${\lambda }_k$使得$$f(x_k+{\lambda }_k{d}_k)=\underset{\lambda \ge 0}{\min }f(x_k+\lambda d_k)\text{\hspace{1em}(3)}$$再令$$x_{k+1}=x_k+\lambda d_k\text{\hspace{1em}(4)}$$转步骤２。

步骤中隐含了条件：函数$f(x)$必须可微，也就是说函数$f(x)$的梯度必须存在。这个步骤描述是最速下降发最抽象的形式。其中最关键的步骤是求解问题
$$\underset{\lambda \ge 0}{\min }f(x_k+\lambda d_k)\text{\hspace{1em}(5)}$$
我们写出它的最优性必要条件
$$\frac{df(x_k+\lambda d_k)}{d\lambda }=\nabla f(x_k+\lambda d_k{)}^T{d}_k=0\text{\hspace{1em}(6)}$$
当$f(x)$的形式确定，我们可以通过求解这个一元方程来获得迭代步长$\lambda$。当此方程形式复杂，解析解不存在，我们就需要使用“一维搜索”来求解$\lambda$了。一维搜索是一些数值方法，有0.618法、Fibonacci法、抛物线法等等，这里不详细解释了。

在实际使用中，为了简便，也可以使用一个预定义的常数而不用一维搜索来确定步长$\lambda$。这时步长的选择往往根据经验或者通过试算来确定。步长过小则收敛慢，步长过大可能震荡而不收敛。

最速下降法是最基本的迭代优化方法。它最简单，最基础，通常是收敛的。可以证明，最速下降法是一阶收敛的，往往需要多次迭代才能接近问题最优解。这是它的不足。

2.2牛顿法

牛顿法是从函数的二阶泰勒展开式推导而来，其思想就是利用目标函数二阶近似的解去逼近目标函数的解。将函数$f$在迭代点$x_k$附近作二阶泰勒展开，有
$$f(x)\approx \varphi (x)=f(x_k)+\nabla f(x_k{)}^T(x-x_k)+\frac{1}{2}(x-x_k{)}^T{\nabla }^{2}f(x_k)(x-x_k)\text{\hspace{1em}(7)}$$
为了计算$\varphi (x)$的极小值，令它的梯度为零，即
$$\nabla \varphi (x)=0\text{\hspace{1em}(8)}$$
有
$$\nabla f(x_k)+{\nabla }^{2}f(x_k)(x-x_k)=0\text{\hspace{1em}(9)}$$
从而推出
$$x=x_k-[{\nabla }^{2}f(x_k){]}^{-1}\nabla f(x_k)\text{\hspace{1em}(10)}$$
我们将这里的$x$作为第$k+1$次迭代的估值，就有了迭代公式
$$x_{k+1}=x_k-[{\nabla }^2(f{x}_k){]}^{-1}\nabla f(x_k)\text{\hspace{1em}(11)}$$

牛顿法(Newton Method)利用了函数的二阶信息，即黑塞矩阵，来加速迭代收敛。具有二阶收敛速度是它的显著优势。牛顿法的步骤为：

1. 设置初始值。给定迭代初值$x_0\in R^n$,$ϵ>0$,令$k\leftarrow 0$。
2. 检查终止条件。如果$||\nabla f(x)||<ϵ$,迭代终止，$x_k$为近似最优解；否则，转步骤３。
3. 迭代计算。取迭代方向$$d_k=-[{\nabla }^{2}f(x_k){]}^{-1}\nabla f(x_k)\text{\hspace{1em}(12)}$$令$$\begin{gathered} x_{k+1}=x_k+d_k \\ k\leftarrow k+1\text{\hspace{1em}(13)} \end{gathered}$$转步骤２。

牛顿法要求初始点在最优点附近(泰勒展开的前提就是在邻域内)，否则可能不收敛。为了使得牛顿法能够全局收敛，提出了阻尼牛顿法（Damped Newton Method）。阻尼牛顿法的改进在于每次的搜索步长不固定为１，而是通过一维搜索来确定步长。其步骤如下：

1. 设置初始值。给定迭代初值$x_0\in R^n$,$ϵ>0$,令$k\leftarrow 0$。
2. 检查终止条件。如果$||\nabla f(x)||<ϵ$,迭代终止，$x_k$为近似最优解；否则，转步骤３。
3. 取迭代方向$$d_k=-[{\nabla }^{2}f(x_k){]}^{-1}\nabla f(x_k)\text{\hspace{1em}(14)}$$
4. 进行一维搜索确定步长${\lambda }_k$使得$$f(x_k+{\lambda }_k{d}_k)=\underset{\lambda \ge 0}{\min }f(x_k+\lambda d_k)\text{\hspace{1em}(15)}$$令$$\begin{gathered} x_{k+1}=x_k+\lambda d_k \\ k\leftarrow k+1\text{\hspace{1em}(16)} \end{gathered}$$转步骤２。

可以证明，当$f(x)$具有二阶连续偏导数且${\nabla }^{2}f(x)$正定，阻尼牛顿法是全局收敛的。

2.3共轭梯度法

最速下降法收敛速度慢，牛顿法虽然收敛速度快但是需要计算黑塞矩阵的逆矩阵，计算复杂度比较高。有的时候我们希望有一种收敛快且不用计算二阶导数的方法，共轭梯度法（Conjugate Gradient Method）应运而生了。当然，计算量减小的代价是理论推导更加繁琐。

要了解共轭梯度法，首先要了解共轭的概念。设有两个$n$维向量$d_1$、$d_2$和一个$n$阶正定矩阵$Q$，如果它们满足
$$d_1^{T}Q{d}_2=0\text{\hspace{1em}(17)}$$
则称向量$d_1$、$d_2$关于$Q$共轭。当$Q$为单位阵时，共轭就成了正交。可将共轭看成是正交概念的推广。共轭的概念还可以推广到含有m个向量的向量组，即
$$d_i^{T}Q{d}_j=0,\forall i,j=1,...m,i\ne j\text{\hspace{1em}(18)}$$

我们用正定二次函数$$f(x)=\frac{1}{2}{x}^{T}Qx+b^{T}x+c\text{\hspace{1em}(19)}$$来推导，最后推广到一般问题。注意这里的$Q\in R^{n\times n}$为正定矩阵，$b\in R^n$，$c\in R$。

我们从$x_0$出发，沿着某个下降方向$d_0$作一维搜索得到下一个迭代点$x_1$，那么有
$$f(x_1)=f(x_0+{\lambda }_0{d}_0)=\underset{\lambda \ge 0}{\min }f(x_0+\lambda d_0)\text{\hspace{1em}(20)}$$
它的最优性条件是对$\lambda$求导，于是有
$$\nabla f(x_0+{\lambda }_0{d}_0{)}^T{d}_0=0\text{\hspace{1em}(21)}$$
即
$$\nabla f(x_1{)}^T{d}_0=0\text{\hspace{1em}(22)}$$
新的迭代方向$d_1$如果取负梯度方向，就成了最速下降法。负梯度方向虽然是当前函数值下降最快的方向，却未必是直指函数最优点的方向。设函数最优点为$\bar{x}$，我们希望搜索方向$d_1$能直接指向最优值，即
$$\bar{x}=x_1+{\lambda }_1{d}_1\text{\hspace{1em}(23)}$$
而作为最优点，$\bar{x}$应满足
$$\begin{array}{rl}0=\nabla f(\bar{x})& =Q\bar{x}+b\\ & =Q(x_1+{\lambda }_1{d}_1)+b\\ & =(Q{x}_1+b)+{\lambda }_{1}Q{d}_1\\ & =\nabla f(x_1)+{\lambda }_{1}Q{d}_1\end{array}\text{\hspace{1em}(24)}$$
两边左乘$d_0^T$并注意到$d_0^T\nabla f(x_1)=0$就有
$$d_0^{T}Q{d}_1=0\text{\hspace{1em}(25)}$$
上式表明，搜索方向$d_1$与$d_0$是关于$Q$共轭的。

可以证明，如果能构造出与$Q$共轭的向量组，至多通过$n$次迭代就可以求得正定二次函数最优化问题的最优解。由此产生一类称为共轭方向法的方法，当我们利用梯度信息来构造与$Q$共轭的向量组，就产生了共轭梯度法。

下面推导如何利用梯度构造与$Q$共轭的向量组。首先初始搜索方向取为负梯度方向，即
$$d_0=-\nabla f(x_0)\text{\hspace{1em}(26)}$$
新的搜索方向由负梯度方向和上一次搜索方向的线型组合产生，即
$$d_{k+1}=-\nabla f(x_{k+1})+{\alpha }_k{d}_k,k=0,1,...,n-2\text{\hspace{1em}(27)}$$
其中${\alpha }_k$待定。我们利用$d_{k+1}$与$d_k$关于$Q$共轭作为约束条件，有
$$\begin{array}{rl}0& =d_{k+1}^{T}Q{d}_k\\ & =(-\nabla f(x_{k+1}{)}^T+{\alpha }_k{d}_k^T)Q{d}_k\\ & =-\nabla f(x_{k+1}{)}^{T}Q{d}_k+{\alpha }_k{d}_k^{T}Q{d}_k\end{array}\text{\hspace{1em}(28)}$$
从而解得
$${\alpha }_k=\frac{\nabla f(x_{k+1}{)}^{T}Q{d}_k}{d_k^{T}Q{d}_k}\text{\hspace{1em}(29)}$$

总结一下，我们得到了n个搜索方向的递推公式如下：

$$\{\begin{array}{rl}{d}_0& =-\nabla f(x_0)\\ d_{k+1}& =-\nabla f(x_{k+1})+{\alpha }_k{d}_k\\ {\alpha }_k& =-\frac{\nabla f(x_{k+1}{)}^{T}Q{d}_k}{d_k^{T}Q{d}_k}\end{array}\text{\hspace{1em}(30)}$$
可以证明，上式得到的$d_k$是一组关于$Ｑ$共轭的方向向量。

将此公式向一般无约束最优化问题推广，必须消去$Q$。这里直接给出三个消去$Q$后${\alpha }_k$的表达式：
(1)FR公式（Fletcher-Reeves）
$${\alpha }_k=\frac{||\nabla f(x_{k+1})|{|}^2}{||\nabla f(x_k)|{|}^2}\text{\hspace{1em}(31)}$$
(2)DM公式（Dixon-Myers）
$${\alpha }_k=-\frac{||\nabla f(x_{k+1})|{|}^2}{d_k^T\nabla f(x_k)}\text{\hspace{1em}(32)}$$
(3)PRP公式（Polak-Ribiere-Polyak）
$$\begin{array}{rl}{\alpha }_k& =\frac{\nabla f(x_{k+1}{)}^T[\nabla f(x_{k+1})-\nabla f(x_k)]}{||\nabla f(x_k)|{|}^2}\\ & =\frac{||\nabla f(x_{k+1})|{|}^2-\nabla f(x_{k+1}{)}^T\nabla f(x_k)}{||\nabla f(x_k)|{|}^2}\end{array}\text{\hspace{1em}(33)}$$

当问题为正定二次函数优化问题时，这三个公式是等价的。对非二次函数最优化问题，它们将产生不同的搜索方向。

共轭梯度法的步骤总结如下：

1. 设置初始值。迭代初始点$x_0$和允许误差$ϵ$。
2. 检查终止条件。如果$||\nabla f(x_0)||<ϵ$，迭代终止并输出$x_0$；否则转步骤3。
3. 构造初始搜索方向。$$d_0=-\nabla f(x_0)\text{\hspace{1em}(34)}$$　并令$k=0$
4. 进行一维搜索。求${\lambda }_k$使得 $$f(x_k+{\lambda }_k{d}_k)=\underset{\lambda \ge 0}{\min }f(x_k+\lambda d_k)\text{\hspace{1em}(35)}$$并令$$x_{k+1}=x_k+{\lambda }_k{d}_k\text{\hspace{1em}(36)}$$
5. 检查终止条件。如果$||\nabla f(x_{k+1})||<ϵ$，迭代终止并输出$x_{k+1}$；否则转步骤6。
6. 检查迭代次数。如果$k+1=n$，令$$x_0=x_n\text{\hspace{1em}(37)}$$转步骤3；否则转步骤7。
7. 构造共轭方向。令$$\begin{array}{rl}{d}_{k+1}& =-\nabla f(x_{k+1})+{\alpha }_k{d}_k\\ {\alpha }_k& =\frac{||\nabla f(x_{k+1})|{|}^2}{||\nabla f(x_k)|{|}^2}\end{array}\text{\hspace{1em}(38)}$$
   这里${\alpha }_k$的计算取了FR公式，也可以选取另外两个公式。再令$k=k+1$，转步骤4。

共轭梯度法在$n$次迭代后将无法产生新的共轭方向（因为$R^n$中的共轭方向至多只能有$n$个），故将第$n$次迭代点$x_n$作为新的起点，重新进行一轮共轭梯度迭代。共轭梯度法比最速下降法的收敛条件更弱。当$f$具有一阶连续偏导数且有极值点时，共轭梯度法就是收敛的。对于二次函数最优化，理论上共轭梯度法$n$次迭代即可收敛。在一定条件下，共轭梯度法具有二次收敛速度。

共轭梯度法的Matlab实现请参考我的另一篇文章：Matlab实现FR共轭梯度法。

2.4变尺度法

最速下降法和阻尼牛顿法的迭代公式可以写成
$$\{\begin{array}{r}{x}_{k+1}=x_k+{\lambda }_k{d}_k\\ d_k=-G_k\nabla f(x_k)\end{array}\text{\hspace{1em}(39)}$$
当$G_k$取单位阵时是最速下降法，当$G_k=[{\nabla }^{2}f(x_k){]}^{-1}$时是阻尼牛顿法。事实上，我们把上式确定的迭代法统称为拟牛顿法(Quasi-Newton Method)。因此改进的思路可以让$G_k$近似$[{\nabla }^{2}f(x_k){]}^{-1}$，从而避免计算二阶导数和矩阵求逆，既简化计算又保持快速收敛性。

我们同样利用二阶泰勒展开来考虑如何近似。将$f$在点$x_{k+1}$处作二阶泰勒展开，有
$$\begin{array}{rl}f(x)\approx & f(x_{k+1})+\nabla f(x_{k+1}{)}^T(x-x_{k+1})+\\ & \frac{1}{2}(x-x_{k+1}{)}^T{\nabla }^{2}f(x_{k+1})(x-x_{k+1})\end{array}\text{\hspace{1em}(40)}$$
对上式两边求梯度，有
$$\nabla f(x)\approx \nabla f(x_{k+1})+{\nabla }^{2}f(x_{k+1})(x-x_{k+1})\text{\hspace{1em}(41)}$$
令$x=x_k$，有
$$\nabla f(x_k)\approx \nabla f(x_{k+1})+{\nabla }^{2}f(x_{k+1})(x_k-x_{k+1})\text{\hspace{1em}(42)}$$
可得如下近似关系
$$[{\nabla }^{2}f(x_{k+1}){]}^{-1}[\nabla f(x_{k+1})-\nabla f(x_k)]=x_{k+1}-x_k\text{\hspace{1em}(43)}$$
我们可以令$G_{k+1}$满足此关系式，即
$$G_{k+1}[\nabla f(x_{k+1})-\nabla f(x_k)]=x_{k+1}-x_k\text{\hspace{1em}(44)}$$
从而近似阻尼牛顿法。为了简化后续推导，记
$$\begin{array}{rl}\Delta x_k& =x_{k+1}-x_k\\ \Delta g_k& =\nabla f(x_{k+1})-\nabla f(x_k)\\ \Delta G_k& =G_{k+1}-G_k\end{array}\text{\hspace{1em}(45)}$$
则上式可以改写为
$$\Delta G_k\Delta g_k=\Delta x_k-G_k\Delta g_k\text{\hspace{1em}(46)}$$
为了求出$\Delta G_k$的表达式，我们采用待定系数法，设
$$\Delta G_k=\Delta x_k{p}_k^T-G_k\Delta g_k{q}_k^T\text{\hspace{1em}(47)}$$
其中$p_k,q_k\in R^n$为待定向量。两边右乘$\Delta g_k$有
$$\Delta G_k\Delta g_k=(p_k^T\Delta g_k)\Delta x_k+(q_k^T\Delta g_k)G_k\Delta g_k\text{\hspace{1em}(48)}$$
与前面推导的近似式子对比，则
$$\begin{gathered} p_k^T\Delta g_k=1 \\ {q}_k^T\Delta g_k=1\text{\hspace{1em}(49)} \end{gathered}$$
考虑到$G_k$近似于黑塞矩阵的逆（为对称矩阵），也应该为对阵矩阵，可构造性地设
$$\begin{array}{rl}{p}_k& ={\alpha }_k\Delta x_k\\ q_k& ={\beta }_k{G}_k\Delta g_k\end{array}\text{\hspace{1em}(50)}$$
解得
$$\begin{array}{rl}{\alpha }_k& =\frac{1}{\Delta x_k^T\Delta g_k}\\ {\beta }_k& =\frac{1}{\Delta g_k{G}_k^T\Delta g_k}\end{array}\text{\hspace{1em}(51)}$$
回代可得
$$\Delta G_k=\frac{\Delta x_k\Delta x_k^T}{\Delta x_k^T\Delta g_k}-\frac{G_k\Delta g_k\Delta g_k^T{G}_k}{\Delta g_k^T{G}_k\Delta g_k}\text{\hspace{1em}(52)}$$
上述公式由Davidon提出，被Fletcher和Powell改进得到，称为DFP公式。应用DFP公式的拟牛顿法称为DFP法或者变尺度法（变度量法）。

最后总结一下变尺度法的步骤：

1. 选取初始值。初始点$x_0\in R^n$，允许误差 $ϵ>0$和$G_0=I_n$为单位阵。
2. 检查终止条件。如果$||\nabla f(x_0)||<ϵ$，终止迭代并输出$x_0$；否则转步骤6。
3. 构造初始DFP方向。取$d_0=-\nabla f(x_0)$，令$k=0$
4. 一维搜索确定步长${\lambda }_k$，使得$$f(x_k+{\lambda }_k{d}_k)=\underset{\lambda \ge 0}{\min }f(x_k+\lambda d_k)\text{\hspace{1em}(53)}$$并令$$x_{k+1}=x_k+{\lambda }_k{d}_k\text{\hspace{1em}(54)}$$
5. 检查终止条件。如果$||\nabla f(x_{k+1})||<ϵ$，终止迭代并输出$x_{k+1}$；否则转步骤6。
6. 检查迭代次数。如果$k+1=n$，令$x_0\leftarrow x_n$并转步骤(3)；否则转步骤7。
7. 构造DFP方向。令$$\begin{array}{rl}{G}_{k+1}& =G_k+\frac{\Delta x_k\Delta x_k^T}{\Delta x_k^T\Delta g_k}-\frac{G_k\Delta g_k\Delta g_k^T{G}_k}{\Delta g_k^T{G}_k\Delta g_k}\\ d_{k+1}& =-G_{k+1}\nabla f(x_k)\end{array}\text{\hspace{1em}(55)}$$令$k\leftarrow k+1$，转步骤4。

这里每$n$次迭代就重新初始化可以减少计算误差的积累，有利于快速收敛。

共轭梯度法与牛顿法类似，具有二阶收敛速度。

2.5最小二乘法

若干的目标函数的平方和作为目标函数的优化问题就称为最小二乘问题。这是一类特殊的无约束最优化问题，如下式：
$$\min s(x)=\sum _{i=1}^m{f}_i^2(x)\text{\hspace{1em}(56)}$$
其中$x\in R^n$且$m\ge n$。

首先考虑线性最小二乘问题。当$f_i(x)$均为线性函数时，最小二乘问题可以写成矩阵形式：
$$\min s(x)=||Ax-b|{|}^2\text{\hspace{1em}(57)}$$
其中$A\in R^{m\times n}$，$b\in R^n$。一般要求$A$为列满秩矩阵(否则一定有冗余的列，去掉之)。令
$$\begin{array}{rl}0& =\nabla s(x)\\ & =2A^T(Ax-b)\\ & =2(A^{T}Ax-A^{T}b)\end{array}\text{\hspace{1em}(58)}$$
注意到当$A$列满秩时，$A^{T}A$正定且可逆，故可推出最优解
$$\bar{x}=(A^{T}A{)}^{-1}{A}^{T}b\text{\hspace{1em}(59)}$$
这就是线性最小二乘问题的最优解。其中$(A^{T}A{)}^{-1}{A}^T$称为矩阵$A$的伪逆（广义逆）或者摩尔彭若斯伪逆(Moore–Penrose pseudoinverse)，记为$A^{+}$。故最优解也可以记为
$$\bar{x}=A^{+}b\text{\hspace{1em}(60)}$$

接下来考虑非线性最小二乘问题
$$\min s(x)=\sum _{i=1}^m{f}_i^2(x)\text{\hspace{1em}(61)}$$
解决问题的思想与牛顿法相似，就是用目标函数的泰勒展开的最优解去逼近目标函数的最优解。由此产生了下面要介绍的高斯－牛顿法。将$f_i(x)$在点$x_k$处做一阶泰勒展开，有
$$f_i(x)\approx f_i(x_k)+\nabla f_i(x_k{)}^T(x-x_k)\text{\hspace{1em}(62)}$$
则
$$s(x)\approx \sum _{i=1}^m[f_i(x_k)+\nabla f_i(x_k{)}^T(x-x_k){]}^2\text{\hspace{1em}(63)}$$
这是一个线性最小二乘问题。令
$$\begin{gathered} A=(\nabla f_1(x_k),...,\nabla f_m(x_k)) \\ b=-(f_1(x_k),...,f_m(x_k){)}^T\text{\hspace{1em}(64)} \end{gathered}$$
如果$A$为列满秩矩阵，则
$$x-x_k=(A^{T}A{)}^{-1}{A}^{T}b\text{\hspace{1em}(65)}$$
如果记函数的向量
$$\mathbf{f}(x)=(f_1(x),...,f_m(x){)}^T\text{\hspace{1em}(66)}$$
则$\mathbf{f}(x)$的雅克比矩阵为
$$\nabla \mathbf{f}(x)=(\nabla f_1(x),...,\nabla f_m(x))\text{\hspace{1em}(67)}$$
则上面推导的公式变为
$$x-x_k=-(\nabla \mathbf{f}(x_k{)}^T\nabla \mathbf{f}(x_k){)}^{-1}\nabla \mathbf{f}(x_k{)}^T\mathbf{f}(x_k)\text{\hspace{1em}(68)}$$
将$x$作为下一次迭代点，有
$$x_{k+1}=x_k-(\nabla \mathbf{f}(x_k{)}^T\nabla \mathbf{f}(x_k){)}^{-1}\nabla \mathbf{f}(x_k{)}^T\mathbf{f}(x_k)\text{\hspace{1em}(69)}$$
上述公式称为高斯－牛顿迭代公式。可以证明，当迭代初始点接近最优点时，高斯－牛顿法是二阶收敛的。为了解决收敛性问题，模仿阻尼牛顿法，我们可以用一维搜索来确定迭代的步长，从而得到阻尼高斯－牛顿法。它的步骤总结如下：

1. 选取初始数据。$x_0$，允许误差$ϵ>0$，令$k=0$
2. 检查终止条件。如果$||\nabla \mathbf{f}(x_k{)}^T\mathbf{f}(x_k)||<ϵ$，迭代终止并输出$x_k$；否则转步骤3。
3. 计算高斯－牛顿方向$$d_k=-(\nabla \mathbf{f}(x_k{)}^T\nabla \mathbf{f}(x_k){)}^{-1}\nabla \mathbf{f}(x_k{)}^T\mathbf{f}(x_k)\text{\hspace{1em}(70)}$$
4. 进行一维搜索求${\lambda }_k$，使得$$s(x_k+{\lambda }_k{d}_k)=\underset{\lambda \ge 0}{\min }s(x_k+\lambda d_k)\text{\hspace{1em}(71)}$$并令$$\begin{gathered} x_{k+1}=x_k+{\lambda }_k{d}_k \\ k\leftarrow k+1\text{\hspace{1em}(72)} \end{gathered}$$转步骤2。

不要忘记高斯－牛顿法的推导过程中要求雅克比矩阵$\nabla \mathbf{f}(x_k)$为列满秩矩阵，这在实际计算中可能无法保证。为此，Levenberg和Marquardt对高斯－牛顿方向做了改进，即令
$$d_k=-(\nabla \mathbf{f}(x_k{)}^T\nabla \mathbf{f}(x_k)+{\alpha }_k{I}_n{)}^{-1}\nabla \mathbf{f}(x_k{)}^T\mathbf{f}(x_k)\text{\hspace{1em}(73)}$$
其中${\alpha }_k>0$为参数，$I_n$为$n$阶单位矩阵。迭代步长仍为$1$不变。这种方法被称为Levenberg-Marquart法或最小二乘LM法。

3.直接法

直接法是一类不需要函数导数信息的方法，通过试算来寻找优化方向。它的优势在于对函数没有可微假设。劣势是收敛速度往往很慢。

3.1坐标轮换法

坐标轮换法(univariate search technique)的思想极为朴素：从某个初始点$x_0$出发，沿着各个坐标轴依次做一维搜索得$x_k$，直到$x_k$不再显著变化。

坐标轮换法的步骤描述如下：

1. 选取初始点。设定$x_0$，初始误差$ϵ>0$，令$k\leftarrow 0$。
2. 进行一维搜索。从$x_{k-1}$出发，沿坐标轴方向$e_k$进行一维搜索，求${\lambda }_{k-1}$和$x_k$使得$$\begin{array}{rl}f(x_{k-1}+{\lambda }_{k-1}{e}_k)& =\underset{\lambda }{\min }f(x_{k-1}+\lambda e_k)\\ x_k& =x_{k-1}+{\lambda }_{k-1}{e}_k\end{array}\text{\hspace{1em}(74)}$$
3. 检查迭代次数。若$k=n$，转步骤4；否则令$k\leftarrow k+1$，返回步骤2。
4. 检查终止准则。若$||x_n-x_0||<ϵ$，终止迭代输出$x_n$；否则令$x_0=x_n,k\leftarrow 1$，返回步骤2。

可以证明，如果每次一维搜索都有唯一最优解，则坐标轮换法是收敛的。

3.2 其他方法

直接法的其他方法还有：步长加速法(模式搜索法，pattern search method)，Rosenbrock旋转方向法，Powell法，单纯形调优法等等，这里不介绍了。

4.结语

数学上有一个原则：把复杂问题转化为简单问题。例如：约束优化通过拉格朗日形式转化为无约束优化。将非线性问题通过近似和残差约束转化为线性问题。

无约束最优化问题是优化领域研究的基础性问题。基础性方法，如最速下降法、牛顿法、共轭梯度法，是其他复杂方法的基础。近年来学术和工业界更加常用的交替方向乘子法(ADMM)和原始对偶法(Primal Dual)也是在基础问题和方法上推演而来。因而掌握经典方法的思想对于理解新方法大有裨益。