数据压缩（十）——线性预测器最佳预测系数线性方程推导及最小二乘法总结

任务1：推导线性预测器最佳预测系数的线性方程
任务2：最小二乘法的总结

---

（一）线性预测器最佳预测系数线性方程推导

（二）最小二乘法总结

2.1 定义

  最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和来寻找数据的最佳函数匹配。
  利用最小二乘法可以简便的求得未知的数据，并使得求得的数据与实际数据之间误差的平方和为最小。
  “最小二乘法”是对线性方程组，即方程个数比未知数更多的方程组，以回归分析求得近似解的标准方法。在这整个解决方案中，最小二乘法演算为每一方程式的结果中，将残差平方和的总和最小化。
  最重要的应用是在曲线拟合上。最小平方所涵义的最佳拟合，即残差（残差为：观测值与模型提供的拟合值之间的差距）平方总和的最小化。当问题在自变量（x变量）有重大不确定性时，那么使用简易回归和最小二乘法会发生问题；在这种情况下，须另外考虑变量-误差-拟合模型所需的方法，而不是最小二乘法。

2.2 思路

  OLS（最小二乘法）主要用于线性回归的参数估计，它的思路很简单，就是求一些使得实际值和模型估值之差的平方和达到最小的值。即上文说到的最小化误差的平方和。

2.3 分类

  最小平方问题分为两种：线性或普通的最小二乘法，和非线性的最小二乘法。
  两种的分类取决于在所有未知数中的残差是否为线性。

2.4 示例1（最简单的例子算最小二乘）

  某次实验得到了四个数据点 $(x,y)$：$(1,6)$、$(2,5)$、$(3,7)$、$(4,10)$（下图红色的点）。我们希望找出一条和这四个点最匹配的直线 $y={\beta }_1+{\beta }_{2}x$，即找出在某种“最佳情况”下能够大致符合如下超定线性方程组的 ${\beta }_1$和${\beta }_2$：
$${\beta }_1+1{\beta }_2=6$$$${\beta }_1+2{\beta }_2=5$$$${\beta }_1+3{\beta }_2=7$$$${\beta }_1+4{\beta }_2=10$$

  最小二乘法采用的方法是尽量使得等号两边的平方差最小，也就是找出下面这个函数的最小值：
$$\begin{gathered} S({\beta }_1,{\beta }_2) \\ =[6-({\beta }_1+1{\beta }_2){]}^2 \\ +[5-({\beta }_1+2{\beta }_2){]}^2 \\ +[7-({\beta }_1+3{\beta }_2){]}^2 \\ +[10-({\beta }_1+4{\beta }_2){]}^2 \end{gathered}$$
  最小值可以通过对$S({\beta }_1,{\beta }_2)$分别求${\beta }_1$和${\beta }_2$的偏导数，然后使他们等于零得到:$$\frac{\partial S}{\partial {\beta }_1}=0=8{\beta }_1+20{\beta }_2-56$$$$\frac{\partial S}{\partial {\beta }_2}=0=20{\beta }_1+60{\beta }_2-154$$
  如此就得到了一个只有两个未知数的方程组，很容易就可以解出：
$${\beta }_1=3.5$$$${\beta }_2=1.4$$
  也就是说，直线$y=3.5+1.4x$是所要求的根据最小二乘得到的线性方程。

---

参考资料：

1. 维基百科：最小二乘法

---

2.5 梯度下降法求解最小二乘

梯度

  在向量微积分中，标量场的梯度是一个向量场。标量场中某一点上的梯度指向标量场增长最快的方向，梯度的长度是这个最大的变化率。
  在三维直角坐标系中表示为：$$\nabla \phi =(\frac{\partial \phi }{\partial x},\frac{\partial \phi }{\partial y},\frac{\partial \phi }{\partial z}）=\frac{\partial \phi }{\partial x}\vec{i}+\frac{\partial \phi }{\partial y}\vec{j}+\frac{\partial \phi }{\partial z}\vec{k}$$

梯度下降

  梯度下降背后的思想是：开始时我们随机选取一个参数的组合$({\theta }_0,{\theta }_1,\cdots ,{\theta }_n)$，计算代价函数$J(\theta )$,然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做，直到找到一个局部最小值，因为我们并没有尝试完所有的参数组合，所以不能确定我们得到局部最小值是否便是全局最小值，不同的初始参数组合，可能会找到不同的局部最小值。如果我们知道代价函数是一个凸函数，那么我们就可以保证我们找到的局部最小点就是全局最小点。

  通过梯度的定义，我们知道，梯度的方向是增长（上升）最快的方向，那么梯度的反方向便是让代价函数下降程度最大的方向。
  相关概念：

• 步长（Learning rate）：步长决定了在梯度下降迭代的过程中，每一步沿梯度负方向前进的长度，它决定了我们沿着能让代价函数下降程度最大的方向更新的步长。用上面下山的例子，步长就是在当前这一步所在位置沿着最陡峭最易下山的位置走的那一步的长度。每走一步，我们都要重新计算函数在当前点的梯度，然后选择梯度的反方向作为走下去的方向。随着每一步迭代，梯度不断地减小，到最后减小为零。
• 特征（feature）：指的是样本中输入部分，比如2个单特征的样本$(x^{(0)},y^{(0)})$,$(x^{(1)},y^{(1)})$,则第一个样本特征为$x^{(0)}$,第一个样本输出为$y^{(0)}$。
• 假设函数（hypothesis function）：在监督学习中，为了拟合输入样本，而使用的假设函数，记为$h_{\theta }(x)$。比如对于单个特征的$m$个样本$(x^{(i)},y^{(i)})(i=1,2,\cdots ,m)$,可以采用拟合函数如下：$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$。
• 损失函数（loss function）：为了评估模型拟合的好坏，通常用损失函数来度量拟合的程度。损失函数极小化，意味着拟合程度最好，对应的模型参数即为最优参数。在线性回归中，损失函数通常为样本输出和假设函数的差取平方。比如对于$m$个样本$(x^{(i)},y^{(i)})(i=1,2,\cdots ,m)$,采用线性回归，损失函数为：$$j({\theta }_0,{\theta }_1)={\Sigma }_{i=1}^m(h_{\theta }(x_i)-y_i{)}^2$$  其中$x_i$表示第$i$个样本特征，$y_i$表示第$i$个样本对应的输出，$h_{\theta }(x_i)$为假设函数。

梯度下降法的详细算法

  梯度下降法的算法可以有代数法和矩阵法（也称向量法）两种表示，如果对矩阵分析不熟悉，则代数法更加容易理解。不过矩阵法更加的简洁，且由于使用了矩阵，实现逻辑更加的一目了然。这里先介绍代数法，后介绍矩阵法。

梯度下降法的代数方式描述

  1.先决条件：确认优化模型的假设函数和损失函数。
  比如对于线性回归，假设函数为$h_{\theta }(x_1,x_2,\cdots ,x_n)={\theta }_0+{\theta }_1{x}_1+\cdots +{\theta }_n$,其中${\theta }_i(i=0,1,\cdots ,n)$为模型参数，$x_i(i=0,1,2,\cdots ,n)$为每个样本的$n$个特征值，可以简化为$h_{\theta }(x_1,x_2,\cdots ,x_n)={\Sigma }_{i=0}^n{\theta }_i{x}_i$。
  同样是线性回归,对应于上面的假设函数，损失函数为：$$J({\theta }_0,{\theta }_1,\cdots ,{\theta }_n)=\frac{1}{2m}{\Sigma }_{j=1}^m(h_{\theta }(x_0^{(j)},x_1^{(j)},\cdots ,x_n^{(j)})-y_j{)}^2$$
  2.算法相关参数初始化。
  主要是初始化${\theta }_0,{\theta }_1,\cdots ,{\theta }_n$，算法终止距离$\epsilon$以及步长$\alpha$，将所有的$\theta$初始化为0，将步长初始化为1.
  
  3.算法过程：

1. 确定当前位置的损失函数的梯度,对于${\theta }_i$,其梯度表达式如下：$$\frac{\partial }{\partial {\theta }_i}J({\theta }_0,{\theta }_1,\cdots ,{\theta }_n)$$
2. 用步长乘以损失函数的梯度，得到当前位置下降的距离，即$\alpha \frac{\partial }{\partial {\theta }_i}J({\theta }_0,{\theta }_1,\cdots ,{\theta }_n)$对应于前面登山例子中的某一步。
3. 确定是否所有的${\theta }_i$，梯度下降的距离都小于$\epsilon$,如果小于$\epsilon$则算法终止，当前所有的${\theta }_i(i=0,1,\cdots ,n)$即为最终结果，否则进入步骤4.
4. 更新所有的$\theta$，对于${\theta }_i$,其更新表达式如下：$${\theta }_i={\theta }_i-\alpha \frac{\partial }{\partial {\theta }_i}J({\theta }_0,{\theta }_1,\cdots ,{\theta }_n)$$更新完后继续转入步骤1.

梯度下降法的矩阵方式描述

前置知识

1. 梯度矩阵：${\nabla }_{A}f(A)$
     对于梯度矩阵，有如下定义$${\nabla }_{A}f(A)=\left[\begin{array}{ccc}\frac{\partial f}{\partial A_{11}}& \cdots & \frac{\partial f}{\partial A_{1,n}}\\ ⋮& \ddots & ⋮\\ \frac{\partial f}{\partial A_{m1}}& \cdots & \frac{\partial f}{\partial A_{mn}}\end{array}\right]$$  所以梯度矩阵中的每一个元素都是函数$f(A)$关于矩阵A对应位置变量的偏导数，比如说：$$f(A)=\frac{3}{2}{A}_{11}+5A_{12}^2+A_{21}{A}_{22}$$  则关于矩阵$A$和该函数$f(A)$的梯度矩阵为$${\nabla }_{A}f(A)=\left[\begin{array}{cc}\frac{3}{2}& 10A_{12}\\ A_{22}& A_{21}\end{array}\right]$$
2. 矩阵的迹性质

1). 假设$a$为常数，则$tr(a)=a$
2). 如果$AB$为方针，则$tr(AB)=tr(BA)$证明：$$tr(AB)={\Sigma }_{i=1}^m{\Sigma }_{j=1}^n{a}_{ij}{b}_{ji}={\Sigma }_{i=1}^n{\Sigma }_{j=1}^m{a}_{ij}{b}_{ji}=tr(BA)$$，因此在矩阵乘积为方阵的情况下，矩阵乘积的迹不受矩阵乘积顺序的影响
$tr(A^T)=tr(A)$

3. 梯度矩阵的性质

1). ${\nabla }_{A}tr(AB)=B^T$
2). ${\nabla }_{A}tr(AB{A}^{T}C)=C^{T}A{B}^T+CAB$

  性质推导${\nabla }_{A}tr(AB)=B^T$

  性质推导${\nabla }_{A}tr(AB{A}^{T}C)=C^{T}A{B}^T+CAB$
  目前我推不出来，先当公式记着

结论推导

梯度下降法存在的问题

• 有些函数可能有多个局部极小值点。假设A、B、C均为函数的极小值，而只有C是函数的全局极小值，梯度下降法可能迭代到B或者C点处就终止。
• 在鞍点处，梯度下降法遇到了鞍点，认为已经找到了极值点，从而终止迭代过程，而这根本不是极值点。

鞍点：鞍点是指梯度为0，Hessian矩阵既不是正定也不是负定，即不定的点。

---

参考资料：

• 梯度下降从放弃到入门
• 梯度下降（Gradient Descent）小结
• 机器学习算法之梯度下降（Gradient descent）附相关项目
• 矩阵梯度
• 张贤达《矩阵分析与应用》下载地址
• 机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则

---

2.6 牛顿法求解最小二乘

  和梯度下降法一样，牛顿法寻找的也是导数为0的点。

基本思想

  利用迭代点$x_k$处的一阶导数（梯度）和二阶导数（Hessen矩阵）对目标函数进行二次函数近似，然后把二次模型的极小点作为新的迭代点，并不断重复这一过程，直至求得满足精度的近似极小值。
  牛顿法的速度相当快，而且能高度逼近最优值。牛顿法分为基本的牛顿法和全局牛顿法。

基本牛顿法

  基本牛顿法是一种用导数的算法，它每一步的迭代方向都是沿着当前点函数值下降的方向。
  在一维的情况下，对于一个需要求解的优化函数$f(x)$，求函数的极值的问题可以转化为求导函数$f^{\prime }(x)=0$。对函数$f(x)$进行泰勒展开到二阶，得到$$f(x)=f(x_k)+f^{\prime }(x_k)(x-x_k)+\frac{1}{2}{f}^{\prime \prime }(x_k)(x-x_k{)}^2$$  对上式求导并令其为0，则，$$f^{\prime }(x_k)+f^{\prime \prime }(x_k)(x-x_k)=0$$，即$$x=x_k-\frac{f^{\prime }(x_k)}{f^{\prime \prime }(x_k)}$$  这就是牛顿法的更新公式（一维）。
  对于高维函数，推导过程基于多元函数的泰勒展开。$$f(x)\approx f(x_n)+\nabla f(x_n{)}^T(x-x_n)+\frac{1}{2}(x-x_n{)}^{T}H(x_n)(x-x_n)$$.  这是用高维二次曲面在$x_n$处逼近原函数。如下图所示（图片来源）

  对上式，令其对$x$的导函数为0，则$$\nabla f(x)=H(x_n)(x-x_n)+\nabla f(x_n)=0$$  解得，$$x_{n+1}=x_n-H(x_n{)}^{-1}\nabla f(x_n)$$
  其中$H$是hessian矩阵，定义为$$H(f)=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_{n}partial{x}_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$$

基本牛顿法的流程

1. 给定终止误差值$0\le \epsilon \ll 1$，初始点$x_0\in R^n$,令$k=0$
2. 计算$g(k)=\nabla f(x_k)$,若$||g_k||\le \epsilon$，则停止，输出$x\ast \approx x_k$
3. 计算$G_k={\nabla }^{2}f(x_k)$,并求解线性方程组得解$d_k:G_{k}d=-g_k$
4. 令$x_{k+1}=x_k+d_k,k=k+1$，并转2

全局牛顿法

  牛顿法最突出的优点是收敛速度快，具有局部二阶收敛性，但是，基本牛顿法初始点需要足够“靠近”极小点，否则，有可能导致算法不收敛。这样就引入了全局牛顿法。

全局牛顿法的流程

1. 给定终止误差值$0\le \epsilon \ll 1$，$\delta \in (0,1)$,$\sigma \in (0,0.5)$,初始点$x_0\in R^n$,令$k=0$
2. 给定$g(k)=\nabla f(x_k)$,若$||g_k||\le \epsilon$，则停止，输出$x\ast \approx x_k$
3. 计算$G_k={\nabla }^{2}f(x_k)$,并求解线性方程组得解$d_k:G_{k}d=-g_k$
4. 记$m_k$是不满足下列不等式的最小非负整数$m$:$$f(x_k+{\delta }^m{d}_k)\le f(x_k)+\sigma {\delta }^m{g}_k^T{d}_k$$
   令${\alpha }_k={\delta }^{m_k},x_{k+1}=x_k+{\alpha }_k{d}_k,k=k+1$，并转2

牛顿法的优缺点

• 牛顿法的优点是收敛速度快，缺点是需要求矩阵的逆，计算量比较大。
• 如果矩阵非正定（在一维情况下表现为泰勒展开的二阶导数小于0），极值点为极大值，而非极小值。
• 如果初始位置离最优点太远，也会导致迭代过程中目标函数不严格递减的情况。
• Hessian矩阵可能不可逆。

牛顿法和梯度下降法的比较

• 梯度法自起始点出发，在局部进行下降步步逼近极值，行进路线往往呈之字形；而牛顿法在二阶导数的作用下，考虑函数凹凸性，直接搜索如何达到极值。在选择行进方向上，不仅考虑当前坡度是否够大，还考虑前进后坡度是否会变得更大。
• 牛顿法有更快的收敛速度，但每一步迭代的成本也更高。在每次迭代中，除了要计算梯度向量还要计算Hessian矩阵，并求解Hessian矩阵的逆矩阵。

---

参考资料：

• 理解牛顿法
• 优化算法——牛顿法(Newton Method)
• 牛顿法和高斯-牛顿法
• 梯度下降法，牛顿法，高斯-牛顿迭代法，附代码实现

---

2.7 高斯牛顿法求解最小二乘

  高斯-牛顿法是牛顿法的特例，用于解非线性最小二乘问题。
  假设观测到N个数据点 { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } \{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} {(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)},其中$x\in R^M$,希望找到包含$M$个参数的非线性函数$f(x,a_1,a_2,\cdots ,a_M)$，拟合上述$N$个数据点，为了方便书写，记$f_1(\vec{a})=f(x_1,a_1,\cdots ,a_M)$，则最小二乘的目标函数为$$\epsilon (\vec{a})={\Sigma }_{i=1}^N||f_i(\vec{a})-y_i|{|}^2$$  我们需要找到$\vec{a}=[a_1,a_2,\cdots ,a_M{]}^T$,使目标函数最小，将目标函数对$a_j$求导：$$\frac{\partial \epsilon (\vec{a})}{a_j}={\Sigma }_{i=1}^{N}2(f_i(\vec{a})-y_i)\frac{\partial f_i(\vec{a})}{\partial a_j}$$  令$$J=\left[\begin{array}{cccc}\frac{\partial f_1(\vec{a})}{\partial a_1}& \frac{\partial f_1(\vec{a})}{\partial a_2}& \cdots & \frac{\partial f_1(\vec{a})}{\partial a_M}\\ \frac{\partial f_2(\vec{a})}{\partial a_1}& \frac{\partial f_2(\vec{a})}{\partial a_2}& \cdots & \frac{\partial f_2(\vec{a})}{\partial a_M}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f_N(\vec{a})}{\partial a_1}& \frac{\partial f_N(\vec{a})}{\partial a_2}& \cdots & \frac{\partial f_N(\vec{a})}{\partial a_M}\end{array}\right]$$，$$\vec{r}=\left[\begin{array}{c}{f}_1(\vec{a})-y_1\\ f_2(\vec{a})-y_2\\ ⋮\\ f_N(\vec{a})-y_N\end{array}\right]$$  将求导后的式子写成向量形式：$$\nabla \epsilon (\vec{a})=2J^T\vec{r}$$  接下来求海森矩阵第$k$行第$j$列的元素:$$\begin{array}{rl}& \frac{{\partial }^2\epsilon (\vec{a})}{\partial a_k\partial a_j}\\ & =\frac{\partial }{\partial a_k}\frac{\partial \epsilon (\vec{a})}{\partial a_j}\\ & =\frac{\partial }{\partial a_k}({\Sigma }_{i=1}^{N}2(f_i(\vec{a})-y_i)\frac{\partial f_i(\vec{a})}{\partial a_j})\\ & =2{\Sigma }_{i=1}^N(\frac{\partial f_i(\vec{a})}{\partial a_k}\frac{\partial f_i(\vec{a})}{\partial a_j}+(f_i(\vec{a})-y_i)\frac{{\partial }^2{f}_i(\vec{a})}{\partial a_k\partial a_j}\end{array}$$
  令$H$为$\epsilon (\vec{a})$的海森矩阵，由上式可知，$$H=2(J^{T}J+S)$$  其中，$$S_{k,j}={\Sigma }_{i=1}^N(f_i(\vec{a})-y_i)\frac{{\partial }^2{f}_i(\vec{a})}{\partial a_k\partial a_j}$$.  将$\nabla \epsilon (\vec{a})=2J^T\vec{r}$和$H=2(J^{T}J+S)$带入牛顿法中的$x_{n+1}=x_n-H(x_n{)}^{-1}\nabla f(x_n)$得：$${\vec{a}}_{n+1}={\vec{a}}_n-(J^{T}J{)}^{-1}{J}^T\vec{r}$$  将$S$忽略，则最终高斯-牛顿法的迭代公式为$${\vec{a}}_{n_1}={\vec{a}}_n-(J^{T}J{)}^{-1}{J}^T\vec{r}$$

高斯牛顿法和牛顿法的区别

  基本区别是：Gauss-Newton只用于求解非线性最小二乘问题，Newton法可用于求解任意连续函数的最优化问题。
  高斯-牛顿法使牛顿法在最小二乘问题上的特例，但不是完全套用牛顿法，而是在套用的过程中做了简化。